AI Builders Digest

OpenAI、rate limit を無駄に食っていた Codex のバグ3件を公表し、有料分の使用量を全リセット

Codex は3か所で静かに使用量を食っていた。compaction が何度も走る長いセッションでの画像、Computer History の p95 使用量の高さ、そして想定以上のコストがかかっていた会話タイトルの生成器だ。修正は明日リリースされ、あわせて有料サブスクリプション全件の使用量がリセットされる。これとは別件で無関係な効率化のアプローチが、来週に控えている。

• #products
• #agents

Kevin Scott：ボトルネックはもうスケーリングではなく capability overhang だ

モデルの推論能力は、製品が実際に届けているものをすでに追い越している。その差を埋めることが、いま業界がやるべき本当の仕事だ。処方箋は、かつて HTTP と HTML がインターネットに対して果たしたことをオープンなプロトコルが担う agentic web で、MCP と NL web がその最初の信じられる兆しになる。加えて、agent がタスクに必要な権限だけを過不足なく要求できるように、agent の identity と entitlement の仕組みも要る。インタラクションのモデルも、同期的に prompt をやり取りする形から、agent がいったん去って大量の呼び出しをこなし、ずっと後に戻ってくる形へ移っていく。agentic coding に対する「職人技が失われる」という反論には、こう答えている。「結果より過程を重んじるなら、過程より結果を重んじる人とは違う判断をすることがある」

• #agents
• #open-source
• #products

本当の eval 市場はモデルのリーダーボードではなく、個社のワークフローにある

公開されているモデルの eval からわかるのは、全体としての進歩の形と、モデル同士の順位くらいだ。はるかに大きいのは、企業が実際に回しているワークフロー、それも一社ごとの癖にまで踏み込んだ eval の領域になる。進捗を測れないものは自動化できないし、企業は雰囲気で本番投入したりしない。

• #evals
• #agents

eval の hill climbing：効く軸を一つ選んで、そこを削り込む

連載中の eval シリーズの第6回。やることは結局、prompt engineering、context engineering、memory、post training、そして素の決定的なコードを通じて、harness を良くしモデルを選び直すことに帰着する、という主張だ。どこを狙うべきかを教えてくれるのは失敗モードの分類で、tool calling が最大の失敗要因なら、3つから5つで足りるタスクに tool を20個も context へ詰め込んでいる可能性が高い。コストについては、まず最良のモデルで出して品質を上げ、ユーザーに刺さっているとわかってから、もっと小さく安いモデルで同じ品質へ hill climbing していく。

• #evals
• #agents

AI は個人には10倍を与えるが、同じ人が大企業の中にいると20%にしかならない

AI が個人にもたらすレバレッジは、大きな組織の中ではほとんど蒸発してしまう。同じ優秀な人でも伸びはせいぜい20パーセント、ときにはマイナスに振れることすらある。この非対称性こそ、力のある人ほど大企業を離れていく理由だ。OpenAI や Anthropic のようなトップの研究所は、おそらくその例外にあたる。もう一つ貼っておく価値のある一言。AI で本当に先を行っている人は、全員が自分は遅れていると思っている。

• #agents
• #products

coding agent に、まだ自分の Google データを握っているアプリを棚卸しさせる

Chrome で Google の連携アプリ一覧のページを開き、その開いたタブを Codex や Claude Code に見せて、もう要らないものを解除させる。実際にやってみたら、まだアクセス権を持っていたアプリのおよそ半分が切れた。別件として、Instinct のチームが世論の圧力を受けて外部データの削除に対応したので、Data Privacy のセクションから Gmail の36件をようやく消すことができた。

• #products
• #policy

投資家を煽ってから SAFE の書類を送りつけるのは、資金調達の戦略ではない

本来なら通るはずのない cold DM が、公開の見世物になった。若い創業者に向けた教訓は身も蓋もない。投資家を挑発しておいて送金を頼むのは、投資というものの仕組みに合っていない。送り主を晒すのが正しい対応だったわけではないが、大事なのは誰の助言を聞くかを自分で選ぶことだ。中身のある優秀な人ほど、この手のゲームで自分を焼いてしまう。

• #funding