No Priors
Fractileの読み:高速推論の本命はサクサク返すチャットボットではなく、長時間動くエージェント
Fractile創業者のWalter Goodwinは、本当に狙うべきなのは数兆パラメータ規模のモデルを毎秒数千トークンで動かし、長時間稼働するエージェントに使うことだと言います。そのためには膨大なメモリ帯域幅と、安価なメモリ容量の両方を備えたチップが必要です。FractileはGroqやCerebrasと同じアプローチである初期のSRAM設計を捨てました。伸び続けるコンテキスト長に合わせてスケールできなかったからです。現在はDRAMベースのプラットフォームを来年後半に立ち上げる準備を進めていて、チップあたりの帯域幅はHBM搭載品の約25倍になります。彼の論点はこうです。この20年でFLOPsは100万倍に伸びたのに、メモリ帯域幅は約40倍しか伸びていない。この差を埋めれば、はるかにスパースなMoEモデルが実用になる。「サクサク返してくれるチャットボットというのは、高速推論で言えば『もっと速い馬』みたいなものなんです」
- #hardware
- #inference
- #agents
