AI Builders Digest

Karpathy: la brecha en entender lo que pueden hacer los LLM se ha convertido en un embudo empinado

Las cuentas rápidas de Karpathy: unos 6.000 millones de personas apenas han tocado un LLM, entre 1.000 y 2.000 millones usan chatbots gratuitos como un buscador mejorado, unos 20 millones de profesionales de matemáticas y programación ven a los agentes terminar proyectos de meses a partir de un prompt, y unas 5.000 personas con acceso interno a modelos de frontera ven enjambres de agentes funcionando durante semanas, descubriendo vulnerabilidades zero-day y haciendo avanzar las matemáticas. Lo atribuye a tres fuerzas. El impacto crece con la ambición y el horizonte del problema. La capacidad es irregular y llega a su punto más alto donde las recompensas son digitales, verificables y lucrativas. Y el acceso está dividido en tres niveles: gratuito, de pago e interno. Hace menos de un año él todavía escribía código a mano. En lo más alto del embudo, la revisión humana ya se está quedando atrás.

• #agents
• #adoption

GPT-6.1 Sol ya trae 500k de contexto por defecto en Codex, sin cargos por contexto largo

El contexto por defecto de GPT-6.1 Sol en Codex y Work pasó de 272k a 500k, cerca de un 80% más, para que las tareas largas tengan que compactarse menos veces. Los usuarios todavía pueden cambiarlo, hasta un máximo de 1M, y el uso que sale de una suscripción ya no paga cargos por contexto largo. Sottiaux también contó que una encuesta lo dejó desconcertado: esperaba que los usuarios prefirieran claramente el doble de uso en los planes Pro de 100/200/500, aunque eso significara volver a los límites de 5 horas, y los resultados se inclinaron hacia ese lado mucho menos de lo que pensaba.

• #products
• #pricing

Fractile apuesta a que lo que hace rápidos a los agentes es el ancho de banda de memoria, no los FLOPs

Para Walter Goodwin, un chatbot que responde más rápido es la versión de 'caballos más rápidos' de la inferencia rápida. El verdadero premio es correr modelos de varios billones de parámetros a miles de tokens por segundo, para que los agentes que trabajan durante mucho tiempo terminen muchísimo antes. Fractile abandonó su primer diseño basado en SRAM, el enfoque que usan Groq y Cerebras, porque no escalaba a contextos largos. Ahora trabaja con fabricantes de memoria para sacarle mucho más ancho de banda a la DRAM barata, y asegura que consigue 25 veces el ancho de banda por chip de las soluciones con HBM. En veinte años los FLOPs se han multiplicado por un millón, mientras que el ancho de banda de memoria solo por unas 40, y según él cerrar esa brecha haría viable servir modelos mucho más dispersos: 'si encuentras la manera de abrirte estructuralmente una ventaja de tres a seis meses, vas a ganar todos esos despliegues.'

• #hardware
• #inference

Levie: los enjambres de agentes son el destino final, y la mayoría de las empresas está muy lejos

En respuesta al embudo de Karpathy, Aaron Levie dice que la mayoría de la gente usa la IA como un buscador de nueva generación. Los enjambres de agentes, en cambio, podrían ser la forma definitiva de trabajar en cualquier campo donde haya trabajo valioso que pueda hacerse en paralelo: matemáticas, ciberseguridad, biología, ciencia de materiales, software y finanzas. Llevarlo más allá del software y la investigación en IA va a exigir una gestión del cambio seria: flujos de trabajo renovados, datos migrados a plataformas modernas y nuevos marcos de cumplimiento, gobernanza y seguridad. Para él, es justo en ese trabajo propio de cada dominio donde la capa de IA aplicada va a brillar dentro de las empresas.

• #agents
• #enterprise

Thariq: no hay que conformarse con una superinteligencia opaca

Thariq cree que Terence Tao va bien encaminado cuando dice que no deberíamos conformarnos con una superinteligencia opaca. Para él, la comunicación es una señal clave de inteligencia, así que los modelos y los productos deberían ir construyendo comprensión junto con las personas en lugar de dejarlas fuera del proceso.

• #alignment
• #products

Garry Tan: sustituir llamadas a LLM por código determinista es pura lógica

Garry Tan dice que cambiar llamadas a LLM por código determinista es una decisión obvia, y que encima da como resultado mejor código, más cercano a lo que los usuarios quieren de verdad. También animó a la gente a 'formar parte de los 5.000 hoy', lo describió como 'la mayor fuente de alpha de la historia de la humanidad' y predijo que el precio bajará para que más gente pueda verlo.

• #engineering
• #agents

Por qué la revisión manual sigue siendo el último paso, aunque el trabajo lo hagan los agentes

Micky (@Rasmic), que ha enseñado a más de 100.000 personas a construir con IA, dice que no confía en los agentes para nada que la gente use de verdad, así que la revisión manual sigue siendo el paso final. Su solución es que el agente traiga pruebas, con tests de antes y después que muestren qué hizo y por qué está bien hecho. Así se le quita fricción a lo que él considera probablemente la peor parte del trabajo de un desarrollador.

• #agents
• #coding

Matt Turck: los gestores de agentes no son más que los próximos operadores de tarjetas perforadas

Matt Turck traza una línea que va de los operadores de tarjetas perforadas a los administradores de Lotus Notes, los desarrolladores de Flash y los webmasters de Dreamweaver, pasa por DevOps y los analistas de Tableau, y llega hoy a los gestores de agentes y los harness engineers. Su veredicto sobre el cambio: 'Todo va a salir bien.'

• #jobs