AI Builders Digest

Karpathy：LLMに何ができるかの理解の差が、急峻なファネルになった

Karpathyのざっくりした試算はこうだ。約60億人はLLMにほとんど触れていない。10〜20億人は無料版のchatbotを、ちょっと賢い検索として使っている。数学やコードの分野にいる約2,000万人のプロフェッショナルは、promptひとつでagentが数カ月がかりのプロジェクトを仕上げるのを見ている。そして社内でフロンティアモデルにアクセスできる約5,000人のインサイダーは、agentの群れが何週間も動き続け、zero-dayを次々に掘り当て、数学を前に進める光景を目にしている。この差を生む要因として、彼は三つを挙げる。一つ目は、インパクトが取り組む問題の野心と時間軸に比例すること。二つ目は、能力がでこぼこで、報酬がデジタルで検証可能かつ儲かる領域で突出すること。三つ目は、アクセスが無料・有料・社内の三層に分かれていることだ。1年足らず前まで、彼自身まだ手でコードを打っていた。ファネルの頂点では、人間によるレビューがすでに追いつかなくなっている。

• #agents
• #adoption

CodexのGPT-6.1 Sol、デフォルトcontextが500kに。long-context料金もなし

CodexとWorkでのGPT-6.1 Solのデフォルトcontextが、272kから500kへと約80%拡大した。長いタスクでのcompactionを減らすのが狙いだ。ユーザーは引き続き自分で設定を変えられ、上限は1Mのまま。サブスクリプションからの利用分には、long-context料金がかからなくなった。Sottiauxは、あるアンケートの結果に首をかしげたことも明かしている。Proの100/200/500の各プランで利用量を2倍にする案は、たとえ5時間制限が復活するとしてもユーザーに強く支持されると彼は予想していた。ところが実際の結果は、思ったほどそちらに傾かなかったという。

• #products
• #pricing

Fractileの賭け：agentを速くするのはFLOPsではなくメモリ帯域幅

Walter Goodwinは、chatbotの応答をキビキビさせるだけの高速推論を「より速い馬」と呼ぶ。本当の狙いは、数兆パラメータ級のモデルを毎秒数千tokenで動かし、長時間走るagentの仕事を桁違いに早く終わらせることだ。FractileはGroqやCerebrasが採用しているSRAMベースの初期設計を、長いcontextにスケールできないとして捨てた。現在はメモリベンダーと組んで、安価なDRAMからはるかに多くの帯域幅を引き出そうとしている。チップあたりの帯域幅はHBM搭載製品の25倍に達すると同社は主張する。この20年でFLOPsは約100万倍に伸びたが、メモリ帯域幅の伸びは約40倍にとどまる。彼によれば、この差を埋められれば、はるかにスパースなモデルを実用的にサーブできるようになる。「構造的に3〜6カ月のリードを切り出す方法さえ見つかれば、そうしたデプロイメントはすべて勝ち取れる」

• #hardware
• #inference

Levie：agentの群れこそ最終形、だが大半の企業はまだ程遠い

KarpathyのファネルにこたえてAaron Levieは、ほとんどの人はAIを次世代の検索として使っているにすぎないと指摘する。一方でagentの群れは、価値ある仕事を並列で回せる分野にとって究極のフォームファクターになりうるという。数学、サイバー、バイオ、材料科学、ソフトウェア、金融といった分野だ。これをソフトウェアやAI研究の外に広げるには、本格的なチェンジマネジメントが欠かせない。ワークフローの刷新、モダンなプラットフォームへのデータ移行、そして新しいコンプライアンス、ガバナンス、セキュリティの枠組みが必要になる。こうした業界特化の取り組みこそ、エンタープライズでapplied AIレイヤーが真価を発揮する場だと彼は見ている。

• #agents
• #enterprise

Thariq：中身の見えない超知能で妥協してはいけない

Thariqは、不透明な超知能で妥協すべきではないというTerence Taoの主張は、方向性として正しいと言う。彼の考えでは、コミュニケーションは知性を示す重要なシグナルだ。だからモデルもプロダクトも、人間をループから外すのではなく、人間と一緒に理解を築いていくべきだという。

• #alignment
• #products

Garry Tan：LLM呼び出しを決定論的なコードに置き換えるのは迷うまでもない

Garry Tanは、LLM呼び出しを決定論的なコードに置き換えるのは迷う余地のない選択だと言う。しかもそのほうがコードの質も上がり、ユーザーが本当に求めるものに近づくという。さらに彼は「今日からあの5000人の一員になろう」と呼びかけ、それを「人類史上最大のアルファの泉」と表現した。いずれ価格は下がり、もっと多くの人がその景色を見られるようになるとも予想している。

• #engineering
• #agents

agentが作業をこなしても、最後の手動レビューが残る理由

10万人以上にAIを使ったものづくりを教えてきたMicky（@Rasmic）は、実際に人が使うものについてはagentを信用していない。だから最後のステップとして手動レビューを残している。彼の解決策は、agentに証拠を持ってこさせることだ。変更前後のテストを通じて、何をしたのか、なぜそれで良いのかを示させる。これで、おそらく開発者の仕事で一番しんどい部分の手間がぐっと減るという。

• #agents
• #coding

Matt Turck：agentマネージャーは次のパンチカードオペレーターにすぎない

Matt Turckは、ある系譜をたどってみせる。パンチカードオペレーターからLotus Notes管理者、Flash開発者、Dreamweaverのウェブマスターへ。さらにDevOpsやTableauアナリストを経て、いまのagentマネージャーやharnessエンジニアに至る流れだ。この変化に対する彼の結論は「ちゃんとうまくいくさ」だ。

• #jobs