Training Data
Sutton: LLMはブレークスルーだが、知能の20%に過ぎない
Rich Suttonと共同創業者のKhurram Javedは、現在のLLMはデプロイ後に学習を停止するため行き詰まりだと主張している。Suttonは合成データを「大きな間違い」と呼び、現実世界は無限に複雑であり、シミュレーションで捉えることはできないと述べている。彼の研究室Oakは、重みごとのステップサイズを持つ継続的深層学習と、「生成してテストする」アプローチに賭けており、時間とともに新しい抽象化を成長させる。彼は、真に知的なシステムは現在2000ワットで動作可能であり、10年後には20ワットにスケーリングすると推定している。
- #agents
- #research
- #open-source
