No Priors
Fractile 押注:快速推理的真正用武之地是長時間執行的 agent,而不是更快的聊天機器人
Fractile 創始人 Walter Goodwin 認為,真正值得爭奪的是讓數萬億引數的模型以每秒數千 token 的速度執行,去支撐長時間執行的 agent。這需要晶片既有極高的記憶體頻寬,又有便宜的記憶體容量。Fractile 早期走的是 SRAM 路線,也就是 Groq 和 Cerebras 的做法,後來因為跟不上越來越長的上下文而放棄了。現在他們在推進一個基於 DRAM 的平臺,計劃明年下半年開始量產爬坡,單晶片頻寬大約是 HBM 產品的 25 倍。他的論據是:過去 20 年 FLOPs 漲了一百萬倍,記憶體頻寬只漲了大約 40 倍,把這個差距補上,稀疏得多的 MoE 模型才能真正用起來。“反應更快的聊天機器人,某種程度上就是快速推理領域裡的‘更快的馬’。”
- #hardware
- #inference
- #agents
