Andrej Karpathy
Karpathy 给理解 LLM 输出的几种方式排了个名,定制讲解视频排第一
LLM 包揽的跑腿活越来越多,Karpathy 预计我们的工作会更多地转向监督和理解,而且他希望模型在这件事上也能帮上忙。他把几种方式从好到最好排了一遍:用 ASD-STE100 写的解释,这是一种为航空航天维修文档设计的受控英语;一张图;一个可交互的 HTML 页面;以及一段 3Blue1Brown 风格的定制讲解视频,他说这一项已经开始能做出来了。既然代码现在已经不稀缺了,他建议大胆去要那种体量很大、用完就扔的产出,这种东西放在以前根本不值得做。他还分享了一个 eval:对 16,200 个坐标逐一问模型“陆地还是水域?”,再把答案画成图。从图上看,模型知道哪里是陆地,而这些知识仅仅来自对互联网的压缩。
- #evals
- #prompting
