Thibault Sottiaux
token あたりの価格は、モデル間の比較単位として壊れている
ピザが2枚。片方は8切れで1切れ2ドル、もう片方は16切れで1切れ1.25ドル。安いほうの1切れを選んでも、ピザ1枚分では高くつく。tokenizer も同じだ。英語、技術文書、多言語、数値テキストにまたがるある比較では、まったく同じ文章に対して GPT-5.6 Sol の tokenizer が 766 token だったのに対し、Claude Opus 5 は 1,170 token と見積もられた。おおよそ 34.5% 少ない計算になる。本当に見るべき指標は「成功した結果1件あたりの価格」で、つまり benchmark はあくまで出発点、実際のテストは自分のユースケースということだ。
- #pricing
- #evals
