AI を実際につくっている人たちが今日話したこと。1 ページ、約 3 分。
この日はClaude Fable 5.2が話題の中心だった。早期ユーザーは、複雑な創作やコーディングのプロジェクトにどこまで使えるかを試している。一方、AI評価を掘り下げた分析は重要な視点を示した。agentの成果物がどれほど完成度高く見えても、重大な判断を伴う業務では使えなくなるような誤りが隠れていることがある。
Claude Fable 5.2が有料プランで利用可能に、Mythosへのアクセスは申請制
Claude Fable 5.2は本日からすべての有料プランで利用できる。サイバーセキュリティや生物医学の有益な研究に取り組む組織は、Claude Mythos 5.2へのアクセスを申請できる。Anthropicはまた、Fable 5.2が量子重力の候補理論を除外するために使われる手法の正確な限界を突き止めたと述べている。
Fable 5.2は大がかりな開発を可能にするが、コストを踏まえた使い分けが必要
Dan ShipperのチームはFable 5.2を使い、独自の動画エディターを作り、子どものおもちゃをレーシングゲームに仕立て、調査資料からドキュメンタリーを制作した。Shipperは、完了条件が明確な大きな仕事を任せ、成果をテストする時間を与えることを勧めている。ただし、動作が遅くtoken消費も多いため、日常的な文章作成や短いやり取りで済むコーディングには別のモデルを選ぶという。
HandshakeのベンチマークがAI agentの深刻な弱点を浮き彫りに
Handshake AIによると、同社のライフサイエンス分野のベンチマークでは最先端モデルでも正答率は50％以下で、金融業務を模したタスクでのagentのスコアは20％未満だった。ある銀行業務用agentは説得力のあるスプレッドシートを作成したものの、税務ルールを一つ誤って扱い、不確実性を示さないまま企業価値の算定を狂わせた。ある銀行員の言葉を借りれば、「95％正しくても、100％間違いだ」。Handshakeは、agentを信頼して使うには、現実に即したタスク、専門家による採点、有害な振る舞いを検出するテストが欠かせないと主張している。
元データは zarazhangrui によるオープンソースプロジェクト follow-builders（MIT ライセンス）から取得しています。要約はそのプロジェクトの公開フィードをもとに LLM が生成し、要約プロンプトも同プロジェクトを改変したものです。上記の各項目は原文にリンクしています。
要約は自動生成です。判断の根拠にする前に原文をご確認ください。
