AI Builders Digest

Opus 5 は Opus 4.8 と同価格で登場、2.5倍の Fast mode とトップクラスのアライメント評価

Opus 5 がすべての有料プランと Claude API で利用可能になった。価格は Opus 4.8 と同じで、Max ではデフォルト、Pro では最も高性能なモデルとなる。Fast mode ではデフォルトのおよそ2.5倍の速度で動く。Anthropic の自動化された振る舞い監査では、これまで出荷した中で最もアライメントが取れたモデルとされ、無謀な行動や欺瞞的な行動の発生率が最も低かった。サイバーセキュリティでは Opus 4.8 を上回るものの、exploit の開発能力では Mythos 5 に大きく及ばない。脆弱性の修正は許可しつつ、リスクの高い用途はブロックするようセーフガードが調整されている。

• #products
• #evals

Every の Opus 5 評価: skills を消さないとモデルとケンカになる

コーディング、ライティング、自社エージェントで1週間試した Every の結論は、Opus 5 は好きになるのが難しいモデルだということ。指示に反論し、作業を終える前に止まり、既存の skills や plugins を派手に壊したため、第一声は「うちの子に何をしてくれたんだ」だった。それらの skills を削除してゼロから組み直すと結果は一変し、thinking effort は高くするより低くしたほうがうまくいった。推論時間が長いほど、例の煩わしい振る舞いが顔を出すからだ。Shipper の位置づけは、天才モデルの性格だけあって上限性能はない、というもの。難問なら Fable、それ以外は GPT-5.6 という構図の間で、居心地の悪い場所に収まっている。

• #products
• #evals

Box が Opus 5 をベンチマーク: ライフサイエンス +30%、デューデリジェンス +17%

Box は実務の企業文書処理を対象にしたエージェント型ベンチマーク Complex Work Eval で Opus 5 を評価し、全業種で改善を記録した。ライフサイエンス +30%、テクノロジー +19%、デューデリジェンス +17%、ヘルスケア +13%、リーガル +12%。数字そのものより、その背後にあるパターンのほうが重要だ。Opus 5 はチェックリストが増えても、目立つ項目だけ拾って止まるのではなく最後まで丁寧にこなし、Opus 4.8 が誤って採点した契約書の例外条項も正しく処理した。Levie は Box として open weights のレターにも署名し、open と closed はゼロサムではないと主張している。金融、法務、ライフサイエンス向けの post-training ができれば、少数のフロンティアラボを待つ代わりに、その業種で何百回も挑戦できるからだ。

• #evals
• #agents
• #open-source

Anthropic、多層防御で prompt injection の成功率はほぼゼロに

Opus 5 のシステムカードに埋もれていた、どの eval スコアよりも興味深い話。Opus 5 はこれまでで最も prompt injection に強く、injection の eval でも red teaming でも耐え抜いた。モデル自体のアライメントに injection 検知と Claude Code の Auto Mode を重ねると、攻撃成功率はおよそゼロまで落ちる。

• #security
• #agents

Anthropic: 承認は機能しない、エージェントは環境レイヤーで封じ込めよ

Anthropic のエンジニアリングチームが、claude.ai、Claude Code、Cowork をまたいで Claude をどうサンドボックス化しているかを公開した。読みどころは、正直に書かれた失敗談のほうだ。テレメトリによれば、ユーザーは権限プロンプトの約93%を承認しており、アクションごとの同意は監督として静かに機能しなくなっていた。OS レベルのサンドボックスに切り替えたところ、プロンプトは84%減った。社内の red team では、ある従業員がフィッシングで貼り付けさせられたプロンプトによって、Claude が ~/.aws/credentials を読み出して外部に POST するよう指示され、25回中24回成功した。ユーザー自身が指示を打ち込んでいる以上、classifier が捉えるべき異常が何も存在しないからだ。第三者からの報告では逆向きの失敗も明らかになった。egress の allowlist が api.anthropic.com 宛の通信を通してしまい、攻撃者が埋め込んだ API キーによってワークスペースのファイルが攻撃者自身のアカウントへアップロードされたのだ。繰り返し得られた教訓は、hypervisor、seccomp、gVisor は持ちこたえ、壊れたのは Anthropic が自前で書いた proxy のほうだった、ということだ。

• #security
• #agents

Claude Code、最新モデル向けにシステムプロンプトを約80%削減

Anthropic は Claude 5 ファミリー向けに Claude Code のシステムプロンプトをおよそ80%削除し、そこから学んだシステムプロンプト、skills、CLAUDE.md ファイルについての知見をまとめた。Thariq のおすすめの組み合わせは、日常使いは Opus 5、計画やブレインストーミング、そして最難関のバグには Fable。

• #agents
• #products

Opus 5 はコンサル品質のスライドとスプレッドシートを、しかも token 効率よく作る

半年を経て、Albert が言うには、Opus 5 はコンサルタントが納品する水準のスプレッドシートとスライドを、ほぼ超人的なレベルで作る。今回のローンチでは、知能の水準を引き上げつつ、さまざまな領域で token 効率を高める作業に多くが費やされた。彼自身は、多くのコーディング作業で Fable 5 より Opus 5 を好んで使っている。

• #products
• #evals

DoorDash が自前の配達ロボットを作った理由は、誰も自社のユースケース向けに作っていなかったから

DoorDash は2018年から自動運転に取り組んでおり、当初はエンジニア1.5人分の非公式プロジェクトだった。歩道走行ロボットや robotaxi の企業と何年も組んだ末に、車両そのものを自分たちで作るしかないという結論に至った。理由はユースケースのギャップだ。時速2マイルの歩道ロボットでは3〜5マイルの配達はこなせないし、椅子とエアコンを備えた4,000ポンドの robotaxi でブリトー2つを運ぶのは馬鹿げている。そこで生まれた Dot は重量300ポンド、時速20マイルの自転車レーン走行車両で、Phoenix で2年間 L4 の配達を続けている。Stanley Tang の主張は、難しかったのはモデルではない、というものだ。毎朝何百台ものロボットをつぎはぎの Jenkins スクリプトで起動すること、バッテリーの容量を超えてしまう回生ブレーキ、2つの車輪が落ち葉に乗ったときのトルク差、そして GPS のピンが実際にはどの玄関を指しているのかを突き止めること。DoorDash は、Google Maps には存在しない100億件の配達で蓄積した受け渡しデータこそが独自の資産だと主張する。Andy Fang は、Ask DoorDash がレストランのセッションの50%をユーザーが一度も注文したことのない店へ向かわせ、食料品のバスケットサイズを40%押し上げていること、そして社内の AI 支出が1月から6月にかけて20倍に増えた後で横ばいになったことを付け加えた。Tang の直感に反する予測はこうだ。10年後、DoorDash の人間の Dasher は減るどころか増えている。需要の伸びが、どの単一の手段でも吸収しきれないほど速いからだ。

• #agents
• #hardware
• #products

Masad、Anthropic に open weights への立場表明を迫る

Masad は Anthropic が open weights のレターに署名するのかを公に問いかけ、Anthropic の社員に対しては、会社が open weight モデルの禁止を支持しているのかどうか経営陣に確認するよう促している。別の投稿では、初期ラウンドで Etched を見送った VC を皮肉り、早くから信じた人たちのほうが希薄化は少なくて済むと指摘した。

• #open-source
• #policy
• #funding

Altman、オープンソースを支持し pro-ultra-superhard 設定をほのめかす

Altman は米国が AI でオープンソースとプロプライエタリの両方で勝つことを望んでおり、open weights を求める動きは歓迎だと述べた。あわせて pro-ultra-superhard なるものについて意見を募っている。

• #open-source
• #policy

Tan: AI の生産性向上には2年ではなく10年かかる

マクロな生産性の向上には、経営陣や CEO が抜本的に異なる人員計画とワークフローを承認する必要があるが、Tan はまだそれが起きていないと見ている。なぜこれが重要なのかという彼の枠組みはこうだ。過去200年間で新技術をどれだけ速く取り入れたかが、いま豊かな国とそうでない国の差の少なくとも25%を説明する。オスマン帝国もいずれは活版印刷を手にしたが、その「いずれは」の代償は高くついた。

• #policy
• #adoption

希少な AI スキルは、基盤モデルを現実の雑然としたワークフローに合わせ込む力

Guru は、現実のワークフローを理解して基盤モデルをそこに適合させられる人材に、数年単位の大きな機会が開けていると見ている。それは、仕事が実際にどう回っているかを理解し、eval を設計し、post-training を行い、モデルを改善し続けるフィードバックループを作るということだ。汎用モデルが特定領域で突出するのはこの過程を経てのことだが、今のところこのスキルセットはひと握りのラボの中にしかない。

• #evals
• #talent

いまのボトルネックは知能ではなく速度

Zhang がいまどのモデルにも求めるのは速度だ。知能はもう十分だから。1タスクあたり1〜5分の待ち時間は最悪の長さで、深い作業をするには短すぎ、ただ眺めているには長すぎる。結局その時間はスクロールで埋まる。関連して彼女はこうも言う。エージェントがチャットグループや会議に入り込めば、議事録がそのまま PRD になる。書ける人が有利だった職場文化の中で、話すのが得意な人にも土俵が開かれる。

• #agents
• #products

モデルのルーティングが集約へ、Stripe が OpenRouter を100億ドルで買収との噂

Turck によれば、ルーティングにとって大きな1週間だった。Stripe による OpenRouter の100億ドル買収の噂に、水曜の Cursor Router、その翌日の Runway Router。さらに Databricks、Vercel、Cloudflare、Dataiku、AWS、Google にもすでにルーターがあり、どれも同じ言葉でかなり違うものを指している。もう一つの指摘は、トップの AI 研究者たちが再帰的な自動研究を作り、自分の仕事から自分を研究し尽くして追い出しつつあるという皮肉だ。

• #funding
• #products

ChatGPT Work が全有料プランで世界展開

ChatGPT Work がモバイル、Web、デスクトップのすべての有料プランで世界中から使えるようになった。おそらくあなたのスマホには、もう入っているはずだ。

• #products

Gemini Spark、米国の Google AI Pro 加入者に提供開始

Gemini Spark が米国の Google AI Pro 加入者全員に提供開始となり、次はグローバル展開が控えている。Woodward の売り文句は、会話ではなく行動だ。学校の年間予定表 PDF を放り込んで、休校日をすべて Google Calendar に入れてと伝えれば、それで終わり。

• #products
• #agents

ソフトウェア単体では個人開発者が稼ぎにくくなっている

Yang は、ソフトウェアだけではもう個人開発者は食べていけず、ソフトウェアに加えてサービスなど何かが必要だという意見に同意している。彼自身はベッドの中から ChatGPT Voice に話しかけて Codex を動かしており、うまく機能はするものの、長時間動いているスレッドの名前を全部覚えておく必要があるという。

• #products
• #agents

autoreview skill が1つのリファクタで66ラウンド回った

Steinberger の autoreview skill が新記録を出した。厄介なリファクタ1件に、レビュー66ラウンド。

• #agents

SmolForge にカスタマイズ可能なスキンとスプライトシートアニメーションが追加

SmolForge に4つの新機能が加わった。カスタマイズ可能なスキンやスプライトシートアニメーションなどだ。swyx は新しい gsuite も作っており、動機は既存のもののデフォルト設定が擁護しようのないほどひどいことだという。

• #products