ポッドキャスト
Training Data
Levie: token の価格補助は一時的なもので、モデルとワークフローの間にあるギャップこそがビジネスになる
「LLM の薄皮ラッパー」という揶揄はすっかり古びてしまった。エンタープライズで本当に骨が折れるのはモデルの能力を実際のワークフローにつなぐことで、その橋渡しが想像以上に巨大だからだ。Box はすべてのモデルに二つの eval をかけている。ライフサイエンス、金融サービス、公共部門にまたがる複雑な業務の eval と、Box の社員が自社データをどう使っているかを測るホールドアウトだ。結果は coding 系のベンチマークとおおむね一致するが、例外が一つある。Gemini が上振れするのだ。おそらく tool use の強さによるものだろう。token の価格補助は続かない。上場企業である以上は資本主義の同じ法則に縛られるし、いずれ自分の training run の費用も払わなければならないからだ。書き留めておくべき予測はこれだ。5年後、エンタープライズで消費される token の 90% は、ユーザーが自分で起動したわけではない仕事になる。ユーザーが目にするのは、レビュー待ちの結果だけだ。普及の話でいえば、coding が先行したのは価値の生まれる場所がほぼすべてテキストで、しかもエンジニアは情シスに頼らず自分で MCP の接続を debug するからだ。営業担当の仕事は、顧客が返信してくれるかどうかで律速される。ナレッジワークには「とりあえず GitHub をつないでください」に当たるものが存在しない。
- #agents
- #evals
- #open-source