No Priors
Fractile apuesta a que la inferencia rápida es para agentes de larga duración, no para chatbots más ágiles
Walter Goodwin, fundador de Fractile, dice que lo que de verdad está en juego es ejecutar modelos de varios billones de parámetros a miles de tokens por segundo para agentes de larga duración. Eso exige chips con un enorme ancho de banda de memoria y, además, capacidad de memoria barata. Fractile abandonó su diseño inicial basado en SRAM, que es el enfoque de Groq y Cerebras, porque no escalaba con longitudes de contexto cada vez mayores. Ahora está poniendo en marcha una plataforma basada en DRAM para la segunda mitad del próximo año, con unas 25 veces el ancho de banda por chip de los componentes con HBM. Su argumento: los FLOPs se han multiplicado por un millón en 20 años, mientras que el ancho de banda de memoria creció unas 40 veces, y cerrar esa brecha hace viables modelos MoE mucho más dispersos. "El chatbot más ágil es, en cierto modo, los caballos más rápidos de la inferencia rápida."
- #hardware
- #inference
- #agents
