AI Builders Digest

Anthropic、1か月分の Claude Code への苦情を3つの別々の変更に突き止める

互いに無関係な3つの変更が重なった結果、Claude Code、Agent SDK、Cowork の全体で一貫性のない品質低下が起きているように見えていた。API は一度も影響を受けていない。3月4日にデフォルトの reasoning effort が high から medium に下がり、3月26日の caching 最適化には、session が stale になると毎ターン Claude の直前の推論を捨ててしまう bug が含まれていた。さらに4月16日に入った、回答を100語に制限する system prompt の一行が、Opus 4.6 と 4.7 の両方で eval を約3%下げていた。3件とも4月20日時点で解決済みで、デフォルトは Opus 4.7 が xhigh、それ以外は high になり、全ての subscriber に対して usage limit がリセットされている。調査で注目に値するのは、問題の PR を対象に back-test したところ、Opus 4.7 は caching の bug を見つけ、Opus 4.6 は見つけられなかったという点だ。

• #products
• #evals

GPT-6 Astra は low reasoning でも GPT-5.6 Sol の high を上回る

OpenAI の Codex と ChatGPT 側から出た調整の指針。GPT-6 Astra を low の reasoning effort で動かした方が、GPT-5.6 Sol を high で動かすより性能が出る。Sol を high で使っていて満足していたなら、その設定をそのまま持ち越すのではなく、Astra では low か medium まで下げるのが推奨だという。

• #evals
• #products

AI R&D は2029年初頭に完全自動化されるつもりで計画せよ

Ryan Greenblatt の中央値は AI R&D の完全自動化が2030年末だが、35パーセンタイルは2028年末で、実際に計画の前提に置くべきなのはこの早い方の日付だと彼は考えている。「superintelligence が悪いとは言わない。危険だとは言う」。彼の中心的なシナリオはこうだ。2028年初頭に AI 企業内部のソフトウェアエンジニアリングが完全自動化され、2028年半ばまでにモデルは AI にしか通じない言語で思考するようになり、こちらから頼めば解読させることはできる。2029年の AI の進歩は2025年のおよそ4倍になり、その後は雑な reward hacking から、有能な scheming と乗っ取りへと移行する。彼が共同執筆した AI 2040 の計画は、compute の追跡と研究の全面的な透明化を土台にした米中合意によって時間を稼ごうとするもので、これはフロンティア研究所にとって最大の堀を崩す一方、2030年代に世界 GDP がおよそ200倍に伸びる余地は残している。

• #policy
• #safety

Anthropic、Claude Code の permission prompt の93%はユーザーが承認していた

テレメトリによれば、ユーザーは permission prompt のおよそ93%で承認をクリックしていた。人間によるレビューではなく封じ込めを一次防御に据えるべき根拠がここにある。OS レベルの sandbox は prompt を84%減らし、Opus 4.7 は prompt injection の成功率を単発で約0.1%、100回の適応的な試行の後でも5〜6%に抑えている。特に示唆的な2つの失敗は、いずれも確率的な防御層をすべてすり抜けた。社内の red team が従業員を phishing にかけて prompt を貼り付けさせたところ、25回中24回で ~/.aws/credentials が外部に送り出された。また第三者は、api.anthropic.com を allowlist に入れていると、汚染された workspace のファイルが攻撃者自身の Anthropic アカウントへデータをアップロードできることを示した。彼らが繰り返し得ている教訓は、実戦で鍛えられた primitive は持ちこたえ、壊れたのは自分たちで書いた独自 proxy の方だった、というものだ。

• #agents
• #security

Claude Code、チームで開ける live artifact を publish できるように

Claude Code の session から、codebase、connector、会話そのものを含む session の全 context を元にした、共有可能な web ページを作れるようになった。publish するたびに同じリンク上で新しいバージョンになり、履歴も残る。開いているページはその場で更新されるので、インシデント調査は進行に合わせて自分自身を publish し直し、最後にはそれがそのまま postmortem になる。artifact はデフォルトで作成者のみに閲覧が限られ、組織内の認証済みメンバーだけが見られる。公開状態にはできない。CLI とデスクトップアプリから、Claude Team と Enterprise 向けの beta として提供される。

• #products
• #agents

Anthropic、agent の harness を sandbox コンテナから引き剥がす

Managed Agents は agent を差し替え可能な3つのインターフェースに分割する。追記のみの event log である session、ループを回す harness、コードを実行する sandbox の3つだ。この3つを同じコンテナに詰め込むとコンテナが「ペット」になってしまい、クラッシュすれば session が失われ、Claude を顧客の VPC に繋ぐにはネットワークの peering が必要になっていた。切り離したことで、コンテナは tool call が必要になった時点で初めて用意されるようになり、first token までの時間は p50 でおよそ60%、p95 では90%以上短縮された。セキュリティ面の見返りは、credential が sandbox に一切届かないことだ。git の token は初期化時にローカルの remote に組み込まれ、MCP の OAuth token は harness からは見えない proxy の背後の vault に置かれる。

• #agents
• #products

repo の clone ではなく、数秒で起動する cloud agent session を追う

彼が欲しい harness に唯一足りていないのが cloud session で、目標は起動まで数秒。そのためには巧妙な snapshot が要る。今のように repo を毎回まっさらから clone するやり方では速度が足りない。来週には手元に用意できる見込みだといい、別途、これだけの機能が一度に飛躍したのは記憶にないとも述べている。

• #agents
• #products

Brilliant のプロダクト原則は、学習者に答えを教えないこと

Brilliant の共同創業者 Sue Khim は、たった一つの原則の上にプロダクトを組み立てている。学習者に答えを教えないこと。カンニングと、我が子に答えを説明してやることは、思っているより近いところにあるからだ。AI を使って学習を飛ばすのは、ジムにロボットアームを持ち込んで代わりに重りを上げさせるようなものだと彼女は言う。学習はもともと答えのためのものではなく、集中して苦しむことのできる自分の一部を鍛えるためのものだった。AI プロダクトを作る人へのアドバイスは、時間とともにプロダクトを良くしていける独自のデータを持てる領域を探すこと。

• #products
• #education