Training Data
Los fundadores de Core Automation: el cuello de botella es el transformer, no el cómputo
Jerry Tworek escaló RL en OpenAI convencido de que eso terminaría el trabajo, y dice que 2025 iba a ser el año en que todo quedara resuelto. Los benchmarks siguieron subiendo mientras las tareas del mundo real seguían siendo un desastre, porque los evals y los datos de entrenamiento son dos caras de la misma moneda y ninguno se parece al despliegue real. Su conclusión es que los modelos tienen que aprender en test time, algo que los transformers estructuralmente no pueden hacer, así que Core Automation está buscando una arquitectura de reemplazo y define la AGI como un modelo que se mejora a sí mismo sin ningún humano en el circuito. Como él lo plantea, el híbrido humano + LLM funciona muy bien ahora mismo, pero los LLM sin humanos, no tanto. Rohan Anil añade el muro práctico: una competencia de kernels QR que organizaron necesitó a unas tres personas en todo el planeta más 100.000 dólares en coding agents durante cuatro semanas para superar a cuSolver por 60x, y ningún modelo frontera se acerca a resolverlo.
- #research
- #agents
- #hardware
