AI Builders Digest

TypeSafeのJev、AIの判断をソフトウェアで使えるほど信頼性の高いものに

Diogo Almeidaによると、Jevは開発者が検証し、独自のしきい値を設定するために使える確率を返す。誤った判断を隠しかねない、見栄えのよい回答を生成する方式とは違う。Almeidaは、小さく確かな判断を組み合わせて、より大きな自動化ワークフローを作ってほしいと考えている。現在のモデルを評する言葉はこうだ。「95％はEinstein、5％はMr. Bean。その5％がいつ出ているのか教えてくれないなら、どうやって自動化できるというのか？」

• #products
• #automation
• #evals

Aaron Levie、バックグラウンドagentでtoken消費量は100～1,000倍になり得ると予測

Levieは、多数のagentにレビューや監査などの情報処理を並行して任せれば、現在の対話型チャットに比べてtoken消費量が100～1,000倍になり得るとみている。また、MetaのオープンウェイトモデルMuseによって、企業は最先端モデルと、反復的なワークフロー向けに調整した低コストのモデルを組み合わせやすくなると考えている。

• #agents
• #open-source
• #compute

AnthropicとGray Swan、prompt injectionのコンペを開催へ

Boris Chernyによると、Claudeのprompt injection対策は大きく進歩した。一方で、agentが担う仕事が増えるにつれ、この問題への対応は業界全体でますます急務になっている。AnthropicはGray Swanと提携し、弱点を見つけるコンペを開催する。

• #agents
• #security

Dan Shipper、解釈可能性からAIの計画をどこまで読み取れるのか問いかける

Shipperの指摘は鋭い。Eiffel Towerに反応するニューロンを見つければ、モデルがFranceを認識していることは分かる。だが、そのモデルが何をしようとしているかは分からない。内部にある識別可能な特徴だけでモデルの振る舞いを理解できると考えることに、Shipperは懐疑的だ。

• #interpretability
• #safety

Aditya Agarwal、alignmentをエンジニアリングの課題と捉える

Agarwalは、GoodfireがSPCから生まれた最も重要な企業の一つになるかもしれないと語る。その理由は、モデルの解釈可能性とalignmentをエンジニアリングの課題として扱えることを示す、同社の取り組みにある。

• #interpretability
• #safety

Zara Zhang、画像が動き出す新聞を制作

Zhangが公開したThe Toddler Timesは、画像が動き出すHarry Potter風の新聞だ。インタラクティブなメディアを使って、なじみのある形式を捉え直す具体例になっている。

• #products