Training Data
Core Automation 創始人:瓶頸是 transformer,不是算力
Jerry Tworek 在 OpenAI 把 RL 規模化的時候,一直相信這條路能走通,他說 2025 本該是萬事皆解的一年。結果 benchmark 一路往上漲,真實世界的任務卻依舊一團亂麻,因為 eval 和訓練資料本來就是一體兩面,而兩者都跟真實部署對不上。他的結論是模型必須能在 test time 學習,而這恰恰是 transformer 結構上做不到的事,所以 Core Automation 正在找一種替代架構,並把 AGI 定義為無需人類介入就能自我改進的模型。用他的話說,現在人類加 LLM 的混合體確實非常成功,但去掉人類的 LLM,就沒那麼行了。Rohan Anil 補了一堵很實際的牆:他們辦過一場 QR kernel 競賽,要把 cuSolver 打贏 60 倍,大概需要地球上僅有的三個人,再加十萬美元的 coding agent 算力,花上四周,而沒有任何前沿模型能接近解出這道題。
- #research
- #agents
- #hardware
