Training Data
Core Automation 创始人:瓶颈是 transformer,不是算力
Jerry Tworek 在 OpenAI 把 RL 规模化的时候,一直相信这条路能走通,他说 2025 本该是万事皆解的一年。结果 benchmark 一路往上涨,真实世界的任务却依旧一团乱麻,因为 eval 和训练数据本来就是一体两面,而两者都跟真实部署对不上。他的结论是模型必须能在 test time 学习,而这恰恰是 transformer 结构上做不到的事,所以 Core Automation 正在找一种替代架构,并把 AGI 定义为无需人类介入就能自我改进的模型。用他的话说,现在人类加 LLM 的混合体确实非常成功,但去掉人类的 LLM,就没那么行了。Rohan Anil 补了一堵很实际的墙:他们办过一场 QR kernel 竞赛,要把 cuSolver 打赢 60 倍,大概需要地球上仅有的三个人,再加十万美元的 coding agent 算力,花上四周,而没有任何前沿模型能接近解出这道题。
- #research
- #agents
- #hardware
