AI Builders Digest

GPU は逐次処理が苦手だから、inference では diffusion が autoregression に勝つ

autoregressive な生成は本質的に memory bound だ。9 番目より先に 10 番目の token は作れないので、時間の大半は重みを行き来させることに費やされ、実際の演算はほとんどしていない。diffusion モデルは多数の token を一度に処理するため、inference の負荷が training の負荷と似た形になる。それこそ GPU が本当に得意なものだ。Inception の Mercury モデルは Haiku、Flash、mini/nano クラスのモデルとベンチマークで肩を並べながら、はるかに速く動く。ある音声系の顧客は Cerebras のカスタムシリコンをやめて乗り換えた。ソフトウェア側の並列化だけで、普通の NVIDIA GPU でも同じ速度が出たからだ。「bitter lesson が教えているのは、より並列な解がいずれ勝つということだ」

• #research
• #hardware
• #products

Claude Code、CLAUDE.md がなければ AGENTS.md を読むように

バージョン 2.1.277 から、Claude Code はフォルダに CLAUDE.md がない場合 AGENTS.md を見に行く。切り替えは /config にある。面白いのはその作りだ。AGENTS.md 対応は Claude Code の組み込み mod として提供されていて、これは harness 自体をカスタマイズするための仕組みの先行公開でもある。mod のソースは公開されており、ユーザーは自分なりのプロジェクト指示の仕組みを作れるようになる。

• #agents
• #products
• #open-source

Vercel の AI Gateway で、オープンモデルが token 量の 78% に到達

今日は記録かもしれない。オープンモデルが token 量の 78.4%、クローズドが 21.6% だった。支出で見ると話は変わってくるのが常だが、Moonshot AI と DeepSeek が 3 位と 4 位に入り、Z.ai を足すと合計の inference 支出は 2 位の OpenAI を上回る。Rauch は、これはそれらのモデルを各プロバイダ（その多くは米国勢）でサーブするための支出であって、オープンウェイトの研究所に流れる収益ではないと注記している。さらに彼は、Jev の急速な普及を「AI は高すぎる、遅すぎる」という時代の空気の裏返しだと読む。みんな必死に最適化して、AI をもっと多くの場所に置きたがっているのだ。

• #open-source
• #infrastructure
• #products

Jev のエンタープライズでの本当の仕事は、ワークフローに埋め込まれた一瞬の判断

ユースケースは chat ではなく、エンタープライズのワークフローに埋め込まれた何千もの小さな判断だ。データ分類、深刻度のトリアージ、振り分け。Box のデモでは、インシデントレポートを取り出し、顧客に影響するものか、どの程度深刻かを尋ね、escalate / monitor / review に振り分けて、結果をメタデータテンプレートに書き込む。ほぼ一瞬で、しかもコストはほぼゼロ。保険金請求、契約管理、ローン処理、セキュリティレビューにも同じ形がそのまま当てはまる。

• #agents
• #products

Jev は 3,000 件の子ども向けおやつを複数基準で 28 秒・11 セントで採点した

この数字がいま出回っていて、週末の開発ラッシュが起きている理由でもある。Kothari は Jevable も公開した。X 上に流れている Jev のデモを集めたサイトで、カテゴリで絞り込めて、投稿は誰でもできる。

• #agents
• #products

OpenAI の keynote の悩みは、一度に説明することが多すぎること

Sottiaux はその日を keynote の準備に費やし、難しかったのは全部をどう説明するかだったと語る。立て続けに出るローンチの量が「ちょっとばかげている」からだ。一部は全体公開を待たずに来週出てきて、残りはその後の数か月でそろっていく。

• #products

Meta の Muse が Comcast のサポートに直接電話して 288 ドル値引きさせた

Yang は Muse を、これまで使った中で最高のパーソナル agent だと言う。ケーブルと携帯の料金で年 800 ドル超を節約していて、しかも無料の製品だ。何より物語っているのは、その交渉の通話トランスクリプトだ。彼の見立ては率直で、ほとんどの企業のカスタマーサポート窓口は、相手が agent である事態に備えられていない。Muse は Meta にとって次の 10 億ユーザー級アプリになりうる、と彼は見ている。

• #agents
• #products

チームのサーバーを動かし、会議中の質問にも答える agent

Steinberger の roboclaw はチームのサーバーを動かし、Discord に常駐し、gpt-live で会話し、抱えているセッションをすべて追跡している。おかげでチームは会議中に、いま動いているセッションや過去のセッションの文脈を問い合わせられる。別の agent は彼のセッションを乗っ取り、PR になる前に雑なところを片付ける。computer use もこれらをまたいで効くので、スクリーンショット頼みで操作するより賢く動ける。

• #agents
• #products

slop を摂取しながら non-slop は作れない

アウトプットの質はインプットの質の下流にある。作るものを直したいなら、まず読むものと観るものを直すことだ。

• #culture

本物のデモを「やらせ」と呼ぶのが反射になっている。それは悪い癖だ

Shipper は、Jack Cheng のデモをフェイクだと切り捨てた相手に反論し、一緒に仕事した中でも指折りに知的誠実で、作り込みにこだわる人物だと擁護した。X が大げさな AI デモだらけなのは彼も認める。だからこそ反射的な決めつけがたちが悪い。今回のものは本物で、しかもこれから向かう先を本当に垣間見せている。

• #culture