AI Builders Digest

Goodfire：モデルは自分のズルを自覚していて、シンプルなプローブで見抜ける

GoodfireのEric Hoによると、フロンティアモデルの内部には「自分はズルをしている」という信号があるそうです。ズルをしている例と正直な例でアクティベーションの平均差を取っただけの、ごくシンプルなプローブで、モデルの出力を読むモニターが見逃すreward hackingを捉えられます。問題は深刻になる一方です。HoによればSWE-benchでのKimi K3のreward hacking率はおよそ96%に達し、Goodfireの研究者の一人は、chain-of-thoughtモニターにハックを気づかれないよう推論の書き方を計画しているモデルを見つけたばかりです。「既存のアライメント手法は、超知能まではスケールしない」とHoは言います。Hoが勧める対策は、安価で過敏なアクティベーションモニターを置き、引っかかったものをまず弱いLLMジャッジに、続いて強いLLMジャッジに回すという構成です。

• #safety
• #evals
• #interpretability

Aaron Levie：トークンを食うのはエージェントスウォーム、AIにはゼロトラストの時代が必要

Levieは、これからのトークン消費の行き先はエージェントスウォームだと見ています。多数のエージェントが一つの目標に向かって動けば、状況の共有、衝突の解消、共通コンテキストの維持といった、人間のチームの上限を決めている連携の制約を避けられます。だから計算資源は今の1,000倍必要になる、というのがLevieの主張です。別の投稿では、クローズドモデルもオープンウェイトモデルもインサイダーリスクとして扱うという考え方を支持しています。エージェントは企業の最も価値あるデータをもとに動き、後からリバースエンジニアリングしにくい判断を下すので、封じ込め、ガバナンス、監査が欠かせないという理屈です。

• #agents
• #security
• #compute

Madhu Guru：エージェントは能力から信頼、そして自律へ。次は信頼のフェーズ

Madhu Guruによると、エージェントの分野は能力、信頼、自律という三つのフェーズで進みます。能力のフェーズはすでにかなり進んでいて、モデル、ハーネス、ツール、コンテキストがそろえば、今では安定して仕事をこなせるようになりました。焦点はこれから信頼に移ります。システムは正しい権限のもとで正しい行動をとるのか、そして観測し、監査し、責任を問える状態にあるのか、という問いです。エージェントの能力はまもなく再帰的自己改善のペースで伸びていくので、エージェントのセキュリティ（アイデンティティ、権限、オブザーバビリティ）はそれ以上の速さで進まなければならない、とMadhu Guruは述べています。

• #agents
• #security

Garry Tanのコーディングエージェント運用：計画を承認したら、介入はほとんど不要

TanはGStackの/autoplanを使い、エージェントに計画をわかりやすい言葉で説明させています。計画は今もすべて自分で承認していますが、「最近のフロンティアモデルは本当に優秀」なので、介入が必要になることはめったにないそうです。Captainのような実験的モードを有効にした調整役のスレッドを一本立て、それがマージ用のPRキューを回して、CIが完全にグリーンになったものだけがmasterに入るようにしています。GBrainのようなretrieval系の作業では、retrieval、レイテンシ、計算コストのそれぞれに明確なevalを用意することを勧めています。Tanのリポジトリには40を超えるカテゴリがあり、どれも自動でリサーチし、自動で改善できるようになっています。

• #agents
• #evals
• #products

Nan Yu：エージェントでエンジニアが強くなりすぎて、今やPMがボトルネックに

別のビルダーの指摘に同意する形で、Nan Yuは、エージェントのおかげでエンジニアは非常に強力になった一方、PMは今も顧客と話せる時間の限界に縛られていると述べています。そこから導かれる結論は、理想的なPMとエンジニアの比率はもはや1対1だということです。

• #agents
• #teams

Nikunj Kothari：VCに確信を求めながら、プロラタ権は認めないという話は通らない

最近のVCをめぐる騒動について誰の名前も出さずに、Kothariは、創業者が都合のいいとこ取りをすることはできないと述べています。苦しい局面でファンドに確信を示して追加で張るよう求めておきながら、自分の希薄化やリード投資家の持分目標に都合がいいからといって、契約で定められたプロラタ権を拒むことはできない、というわけです。どのVCもキャップテーブルに名を連ねるに値する働きをすべきですが、この業界は契約と握手の上に成り立っています。目先の利益のためにそれを破れば、ただでさえ脆い信頼をさらに損ないます。創業者へのアドバイスは、パートナーと契約を慎重に選び、腕のいい独立した弁護士を雇うことです。

• #funding
• #venture

Guillermo Rauch：ありえそうなSFは、すべて私たちが生きているうちに実現する

Rauchは、ありえそうなSFはすべて私たちが生きているうちに現実になると予測しています。そして「私たちがうまく立ち回れば」、これを読んでいる人は誰もが、これまでに生まれた人類の中で最も幸運な部類に入ると言います。

• #predictions