Training Data
Factory 的 Grinberg:與模型解耦的 harness,比跟模型一起設計出來的更強
這個反直覺的觀點直接衝著 OpenAI 和 Anthropic 的朋友們去:把模型和 harness 放在一起做,並不會讓兩者配合得更好。「資料之於模型,就相當於模型之於 harness。」讓一套 harness 見過足夠多的模型,它才不會過擬合到某一個模型的脾氣上。Factory 就發現,新版 Opus 和 GPT 在 Droid 裡跑 TerminalBench 的分數,比在 Claude Code 或 Codex 裡還要高。他還說,早了兩年其實就等於做錯了,並用一段親身經歷來佐證:因為產品沒能讓開發者滿意,他們退掉了將近 200 萬美元的企業收入。開源模型在他們客戶的 token 用量裡,年初還不到 1%,現在已經是兩位數,其中 GLM 5.2 表現最突出。他預計 12 到 24 個月內,90% 的 token 都會是非同步產生的。
- #agents
- #open-source
- #evals
