AI を実際につくっている人たちが今日話したこと。1 ページ、約 6 分。
今日のビルダー界隈は rate limit とキャッシュヒット率の話で持ちきりでした。OpenAI の Codex チームが、消費が想定より速く進む理由を公開の場でデバッグしています。Anthropic は、リポジトリ全体を横断して脆弱性を探し、修正パッチまで返してくるセキュリティスキャナーを出しました。そしてその下に静かに流れているテーマがもう一つ。eval、シミュレーション、レーティングが、一つの数字では測れないほど賢くなったシステムを評価するための、本当の意味でのインフラになりつつあるという話です。
Codex の rate limit の消費が速いのは、キャッシュヒット率が悪化したから
今週、一部の Codex ユーザーがクォータをいつもより速く使い切りました。原因はポリシー変更ではなく、キャッシュヒット率の低下です。キャッシュに安定して当たることが効率の計算の根幹にあるので、そこが崩れると消費が一気に進みます。調査は継続中で、翌日にアップデートを出すとのこと。なお、有料の ChatGPT Work と Codex の全ユーザー向けに、消費分のリセットが太平洋時間の午後8時までに適用されました。
Claude Security が Mythos で GitHub リポジトリをスキャンし、修正案まで返す
リポジトリを指定すると、Mythos がファイルをまたいでデータの流れを追い、コンポーネント同士の関係を推論して、CWE カテゴリと確信度・深刻度のレーティングを付けた検出結果を返します。修正案は Claude Code on the web でそのまま開けて、使うモデルはチームが既に使っているもの。スキャンの課金は既存プランの通常の token 消費として扱われます。設計上、モデルはスキャンの背後に置かれていて、返ってくるのは検出結果だけ、直接アクセスはありません。あわせて、オープンソースのセキュリティに 3,500万ドル分のクレジットを投じる Defender Advantage Fund、Mythos 5 をサードパーティのセキュリティ製品に組み込むパートナー連携、そして拡大中の Cyber Verification Program も発表されました。
eval スイートを一つのスコアに潰すと、最前線のユースケースの劣化が見えなくなる
平均値の横暴、という話です。要約が 85 から 89、事実ベースの QA が 80 から 85 に上がる一方で、複雑な財務分析が 70 から 63 に落ちたモデルでも、単一の数字で見れば勝ちに見えてしまう。加重スコアも解決にはなりません。結局は判断を下しているのに、数学的な精度があるかのように見せかけるだけだからです。代わりに必要なのは、優先順位を付けた eval の階層、抽象化を求めずに詳細を読む気のある人間、そしてこのシステムがユーザーにとって本当に良くなったのかという人間の判断です。Gemini の初期にも同じことが起きていて、今もチームで起き続けています。
人間のシミュレーションこそが、再帰的自己改善に残された最後の壁
再帰的自己改善を本気で受け止めるなら、つまりモデルが ML 研究や AI エンジニアリングをどんどん自動化していく未来を前提にするなら、残るボトルネックは人間と人間のフィードバックをシミュレートすることです。そう捉え直すと、当時は商用の使い道がゼロだった Smallville が、Karpathy と Fei-Fei Li がそのチームに出資した理由として見えてきます。Simile は早い段階で既に Fortune 100 企業で product-market fit を掴みつつあります。告白はかなり率直で、理解するのに2年遅れた、そして間違っていたことがこれほど嬉しかったことはない、と。
Vercel は自社ドキュメントに is-agentic を回し続け、100点満点を取るまでやった
ドキュメントサイトに対して is-agentic の評価を繰り返し回したことで、実際の穴がいくつも塞がりました。評価基準そのものを、そこに費やす token に見合うだけの品質に保つ作業も意識的にやっています。Grok と Codex のサブスクリプションにも対応し、sandbox で即座にインストールできるようになりました。Python チームも急ピッチで進んでいます。
Anthropic 社内の ELI5 skill は、大きな図と少ない言葉でコードを説明する
prompt はいたってシンプルで、このトピックを何も知らない人間だと思って説明してくれ、大きな図と少ない言葉の HTML artifact で、というもの。社内では解説を作るときや問題を掘り下げるときに使われていて、このモジュールはどう動くのか、なぜこのトレードオフを選んだのか、あのインシデントの原因は何だったのか、といった聞き方をします。今はコミュニティの plugin marketplace からインストールでき、公式 plugin にすべきかどうかは検討中です。
Instinct のオンボーディングは見事、ただしメールをインデックスして消す手段がない
iMessages、Google Workspace、MCP の接続は驚くほどスムーズで、アシスタント自体も同種の製品より能動的です。MCP を繋いだ直後にアクションを提案してきます。問題はデータの扱いで、許可なくメールをインデックスして保持し、しかもその記録を削除する手段がありません。ここが直るまでは人に勧められません。もう一つの制約は構造的なもので、すべてが一つのスレッドに載るため、雑用には使えても本気の仕事には向きません。実際の主力は今も ChatGPT Work と Codex です。
コンピュータが人間に勝ってから、チェスはむしろ流行った
Chess.com の出発点は、2005年の破産オークションで買った 5万6,000ドルのドメインでした。当時ほぼすべての投資家が投資に値しないと言った案件です。それが今では DAU 1,000万、登録者 2億5,000万、売上 2億ドル超、しかも成長のために資本を一度も調達していません。機械が人間を超えた直後、ゲームは一時的につまらなくなりました。誰もが Stockfish 公認のエンドゲームを延々と指すようになったからです。ところが Leela のようなニューラルネットが攻撃的で型破りなチェスを指し始めると、今度は格段に面白くなり、人間の指し手そのものを前進させました。熟達については、プロセスに近道はなく、あるのは道具の側だけ、という話でした。「人生のある一日を取って、それを1,000倍する。だいたいそれがあなたの人生の姿だ」。創業者向けのアドバイスは、創業者向けのアドバイスを無視しろ、というもの。2005年の定石は Stanford から技術系の共同創業者を採り、資金を集め、大きな市場を追え、でしたが、その真逆をやってうまくいきました。次は Gambit、チップで勝敗を測るのが普通のポーカーに、チェスのレーティングという定石を持ち込むサイトです。M&M を何回買い足せるかではなく、あなたは実際どれくらい強いのか、を測ります。
元データは zarazhangrui によるオープンソースプロジェクト follow-builders（MIT ライセンス）から取得しています。要約はそのプロジェクトの公開フィードをもとに LLM が生成し、要約プロンプトも同プロジェクトを改変したものです。上記の各項目は原文にリンクしています。
要約は自動生成です。判断の根拠にする前に原文をご確認ください。