AI Builders Digest

OpenAI が1週間で Astra 関連5製品を投入、品質低下の原因を3つ明示

Images 2.5、GPT-Live-1、Agents API、Data Agent、ChatGPT for Financial Services が DevDay を前にすべて出そろい、来週もさらに続く予定だ。品質への苦情には、はぐらかさずにきちんとした事後分析が出ている。旧モデル向けに書かれた skill が過剰に発火し、モデルが自分の作業を検証するのを妨げていたこと。オプトイン方式のコンテキスト管理の実験が、推定4〜5千人のユーザーで途中終了や古いメッセージへの返信を引き起こしており、これは無効化済みであること。設定の誤った engine がトラフィックのロングテールの品質を落としていたため撤去したこと。あわせて OpenAI は Git AI チームの Aidan と Sasha を迎え入れた。彼らの open-source ツールは coding agent が実際にコードベースへどれだけ寄与しているかを計測するもので、今後も open source のまま維持すると明言している。

• #products
• #agents

エージェント決済の76%は30セント未満、カードでは運べない金額帯

カード決済のレールは固定でおよそ30セント、さらに料率が乗るので、エージェントが実際に行う取引ではまったく成立しない。Brian Armstrong の言い方はこうだ。「AI を unbanked のままにしておきたくない」。Coinbase では今、prompt を1つ貼り付けるだけで、どのエージェントにも KYC なしで self custodial なウォレットを渡せる。支払いは x402 の上を通る。Coinbase が立ち上げて Linux Foundation に寄贈したプロトコルで、Google、Cloudflare、AWS も参加している。社内では、インシデント、財務統制、AB テスト、採用または却下された PR のすべてをリポジトリ単位・チーム単位の「brain」に蓄積し、エージェントの作業に人が入れた修正は必ずそこへ書き戻す運用を徹底することで、再帰的な自己改善を狙っている。ほかに明かされたのは、収益の88%がすでに Bitcoin 以外の取引によるものであること、prediction market がローンチから数カ月で年換算1億ドルの規模に達したこと、そして tokenized stock が米国外で、保管上1対1で裏付けられた本物の証券として稼働していることだ。

• #agents
• #payments

エンタープライズ AI が失敗するのは、中央のチームが現場と一緒にではなく現場のために作るときだ

失敗の型は3つ。まず、CEO が信頼する側近を指名し、その側近がまた信頼する同僚を連れてくることで、15年かけた漸進的改善のために組み上げたチーム構成とローンチの型が、実験と発明を要する仕事にそのまま持ち込まれてしまう。2つ目は eval への慢性的な投資不足で、多くの企業はそもそも何が良い状態なのかを把握していない。3つ目は、中央の AI チームが自らをプラットフォームだと宣言し、実際に手を動かす人たちのワークフローや判断から切り離されたツールを出し、渋々使われるだけで生産性は上がらないというパターンだ。処方箋は、外から現場に向かって作るのをやめ、最良の AI ビルダーを財務、営業、サポートの中に埋め込むことだ。

• #evals
• #enterprise

Every、3年分のモデル vibe check を個人向けベンチマークに作り変える

ベンチマークのスコアが上がっても、そのモデルが自分の実際の仕事をどう捌くかはほとんど分からない。だから Every は3年にわたり、新しいモデルが出るたびに実際に触った長文レビューを出してきた。その vibe check を今度は定量化する。Hammer と Nityesh が社内プラットフォームを作り、チームの全員が自分の日々の仕事から個人用のベンチマークを組み立てられるようにした。

• #evals

software factory はまだ機能していないし、反例を出せた人もいない

検証やテストの領域を除けば、AI は人を介さずにプロダクトを自己改善したり、新機能を端から端まで作り上げたりはできない。壊れ方ははっきりしている。一晩ループさせると、たった1つの誤った前提が実行全体を無駄な token に変えてしまう。この公開チャレンジは真面目に受け取る価値がある。要件定義も成果物の確認も人間が一切やらずに端から端まで作られたプロダクトや機能を、誰も挙げられていないからだ。別の話として、ツールの棲み分けもきれいに割り切っている。ローカルの定期実行タスクは Codex に残し、クラウドのタスクは Grok Bot に移す。

• #agents

Claude Code に plugin eval が追加、モデル更新後も skill が生き残るか確認できる

plugin のフォルダで `claude plugin eval init` を走らせれば、新しいモデルが出たあとも自分の skill がまだ動くのかという疑問に答えが出る。より本質的なのは、生の pass/fail スコアがほとんど解釈できなくなっているという点だ。ベンチマークの失敗の多くは厳しすぎる隠しテストに起因していて、モデルの回答のほうが期待される結果より筋が通っている場合すらある。

• #evals
• #agents

Replit、Replit の上だけで作られた事業を買収

買収対象は最初から最後までこのプラットフォーム上で構築されたもので、Amjad Masad はこれが今後続く第一号になると見ている。Routines は budget にも対応した。

• #funding
• #products

Box がエージェントの sandbox に直接マウント、ファイルの読み書きが可能に

Box を sandbox にマウントすれば、エージェントは自分のコンピュータ上でファイルを読み書きできる。その背景にある主張はこうだ。エージェントが企業の重要なワークフローを引き受けていく以上、人間がずっと使ってきたのと同じ基本的な道具立てが必要になる。その第一歩が、本物のファイルシステムだ。

• #agents
• #products

Tailscale の model router が Vercel AI Gateway の上で動く

AI gateway は、かつての CDN と同じ位置に収まりつつある。origin に直接つなぐこともできるが壊れやすく、自前で作れば苦労もコストも大きい。Tailscale の model router は、基盤として Vercel AI Gateway の上に構築されている。

• #products

Cursor、長時間の作業に向けた long-lived agent を投入

長い作業区間をまたいで生き続けるエージェントが Cursor で使えるようになった。1回のセッションには収まらない、より大きな構想に向けたものだ。

• #agents
• #products

今後2年で VC のトラックレコードは静かに書き換えられていく

大型の exit や markup は本当に稀で、それこそが次のファンドを調達する根拠になる。だから成功した VC ほど、話題のディールの功績が誰のものかを巡って激しく争う。予測は具体的だ。勝ち筋の手柄を主張するために歴史が書き直され、名前が消されたり都合よく省かれたりする。いちばん割を食うのは emerging GP で、将来の LP に持っていけるものがトラックレコードしかないからだ。防御策は創業者との距離を近く保つこと。彼らこそが本当のリファレンスチェックになる。

• #funding

一人会社は過大評価されている。一人で作るのは孤独だから

AI のおかげで一人でできることが桁違いに増えたのは本当だ。ただ、それは共同創業者が何のためにいるのかという話とは別だ。新しいものを作るのは深く孤独な経験で、一緒にアイデアを出し、一緒に苦しみ、一緒に喜ぶ相手が要る。誰かと並んで自分をマストに縛りつけていないと、モチベーションは簡単に崩れてしまう。

• #startups

Astra が computer use でクラウドセッション上の Doom をプレイ

クラウドセッションの OpenClaw 上で Astra を動かし、CUA にマシンを操作させたところ、モデルが Doom をプレイした。Peter Steinberger の評価はこうだ。AGI ではないが、ハエの脳よりはたぶん上。ここまで来るには trycua に patch を投げて、Linux でキー入力が安定して効くようにする必要があった。それでも全体としては良くできたフレームワークだと評価している。

• #agents
• #open-source

104階ではなく53階、そして 9/11 を生き延びたスタートアップ

今の Glean とほぼ同じことをやっていた25人のエンタープライズ検索スタートアップ TripleHop は、World Trade Center が若い dot-com 企業を優遇条件で誘致していたため、North Tower にオフィスを構えた。104階付近の区画は眺めが信じられないほど良かったがエレベーターが延々とかかるので、彼らは家賃の安い53階を選んだ。午前8時46分にオフィスにいた社員は Kenton Beerman ただ一人で、無傷で脱出した。CTO が取っていたバックアップのおかげで、事業はその日のうちに再び動き出した。数週間前に初めてメモリアルを訪れて浮かんだのは、分かれ目がどれほど小さかったかという思いだった。1時間遅かったら、数フロア下だったら、あるいはもう一方のオフィスだったら。

• #startups

1600点を取ったら、計測を打ち切るのではなくもっと難しいテストが開くべきだ

SAT の満点は、まさに情報量がなくなる地点で物差しが振り切れてしまう。だから1600点の上にもう一段スコアを積む、2つ目のより難しいテストがあるべきだ。ところが現実にはテストそのものが禁止され、入学選考はただのくじ引きになり、卓越を見分けることが不可能になる。

• #policy

SPC、テクノロジー規制と二大政党制のカリフォルニアを巡る秋のシリーズを開始

テーマとして挙がっているのは、カリフォルニアで本物のイノベーションをどう後押しするか、どうすれば二大政党の州になれるか、そしてテクノロジーをどう規制すべきかの3つ。秋を通して意思決定に関わる人たちが登壇し、9月23日の Steve Hilton が第一弾となる。別途、9/11 についての回想もある。CMU の Wean Hall 7500 の講義中にニュースを聞き、Pittsburgh 近くに航空機がいるという話で周囲が取り乱していたこと。そして、自分に United 93 の乗客たちのような勇気があってほしかったという思い。

• #policy