No Priors
Fractile 押注:快速推理的真正用武之地是长时间运行的 agent,而不是更快的聊天机器人
Fractile 创始人 Walter Goodwin 认为,真正值得争夺的是让数万亿参数的模型以每秒数千 token 的速度运行,去支撑长时间运行的 agent。这需要芯片既有极高的内存带宽,又有便宜的内存容量。Fractile 早期走的是 SRAM 路线,也就是 Groq 和 Cerebras 的做法,后来因为跟不上越来越长的上下文而放弃了。现在他们在推进一个基于 DRAM 的平台,计划明年下半年开始量产爬坡,单芯片带宽大约是 HBM 产品的 25 倍。他的论据是:过去 20 年 FLOPs 涨了一百万倍,内存带宽只涨了大约 40 倍,把这个差距补上,稀疏得多的 MoE 模型才能真正用起来。“反应更快的聊天机器人,某种程度上就是快速推理领域里的‘更快的马’。”
- #hardware
- #inference
- #agents
