Training Data
Core Automation の創業者いわく、ボトルネックは compute ではなく transformer そのもの
Jerry Tworek は OpenAI で、RL をスケールさせればそれで決着がつくと信じて RL を推し進めてきた人物です。本人いわく、2025年はすべてが解決される年になるはずでした。ところが benchmark のスコアは伸び続ける一方で、現実のタスクは相変わらず雑然としたまま。eval と学習データは表裏一体で、どちらも実際の deployment とは噛み合っていないからだ、というのが彼の見立てです。結論は、モデルは test time に学習できなければならない、しかし transformer は構造上それができない、というもの。そこで Core Automation は代替となる architecture を探しており、AGI を「human in the loop なしに自分自身を改善するモデル」と定義しています。本人の言葉を借りれば、人間と LLM のハイブリッドはいまめちゃくちゃうまくいっている、でも人間抜きの LLM はそうでもない。Rohan Anil は現実的な壁を付け加えます。彼らが開催した QR kernel のコンペでは、cuSolver を60倍上回るために、地球上に3人ほどしかいない人材と、4週間で10万ドル分の coding agent が必要でした。frontier model はどれも、これを解くには程遠いとのことです。
- #research
- #agents
- #hardware
