AI Builders Digest

La difusión le gana a la autorregresión en inferencia porque las GPU odian el trabajo secuencial

La generación autorregresiva está limitada de raíz por la memoria: no puedes producir el décimo token antes del noveno, así que te pasas la mayor parte del tiempo moviendo pesos de un lado a otro y haciendo muy poca aritmética. Los modelos de difusión procesan muchos tokens a la vez, lo que hace que su carga de trabajo en inferencia se parezca a la de entrenamiento, que es justo aquello en lo que las GPU son buenas de verdad. Los modelos Mercury de Inception igualan a Haiku, Flash y a los de clase mini/nano en los benchmarks, y además corren bastante más rápido; un cliente de voz dejó el silicio a medida de Cerebras por ellos porque el paralelismo por software alcanzó la misma velocidad en GPU NVIDIA corrientes. "La lección amarga es que la solución más paralela es la que al final va a ganar."

• #research
• #hardware
• #products

Claude Code ahora recurre a AGENTS.md cuando no existe CLAUDE.md

A partir de la versión 2.1.277, Claude Code busca AGENTS.md en una carpeta si no hay CLAUDE.md, con un interruptor en /config. Lo interesante es la fontanería: el soporte de AGENTS.md llega como un mod integrado de Claude Code, un adelanto de un sistema que viene para personalizar el propio harness. El código del mod es público, y los usuarios podrán construir sus propias versiones de las instrucciones de proyecto.

• #agents
• #products
• #open-source

Los modelos abiertos alcanzan el 78% del volumen de tokens en el AI Gateway de Vercel

Hoy puede ser un récord: los modelos abiertos se llevaron el 78,4% del volumen de tokens frente al 21,6% de los cerrados. El gasto suele contar otra historia, pero Moonshot AI y DeepSeek quedaron en los puestos 3 y 4, y si se suma Z.ai su gasto conjunto en inferencia supera a OpenAI en el puesto 2. Rauch aclara que esto es gasto en servir esos modelos a través de proveedores, en su mayoría estadounidenses, no ingresos que lleguen a los labs de pesos abiertos. También lee el salto de adopción de Jev como consecuencia de un zeitgeist de "la AI es demasiado cara/lenta": la gente está desesperada por optimizar para poder meter AI en más sitios.

• #open-source
• #infrastructure
• #products

El verdadero trabajo de Jev en la empresa son los juicios de fracción de segundo dentro de los workflows

El caso de uso no es el chat, son las miles de decisiones diminutas incrustadas en los workflows empresariales: clasificación de datos, triaje de severidad, enrutamiento. Una demo de Box toma un informe de incidente, pregunta si afecta al cliente y con qué gravedad, después lo archiva como escalar, monitorizar o revisar y escribe el resultado en una plantilla de metadatos, casi al instante y a un coste casi nulo. El mismo patrón sirve para siniestros de seguros, gestión de contratos, tramitación de préstamos y revisiones de seguridad.

• #agents
• #products

Jev puntuó 3.000 snacks infantiles con varios criterios en 28 segundos por 11 centavos

Ese es el número que anda circulando, y explica por qué está pasando esta oleada de proyectos de fin de semana. Kothari también publicó Jevable, un sitio que recopila las demos de Jev que andan sueltas por X, filtrables por categoría y con un botón abierto para enviar la tuya.

• #agents
• #products

El problema del keynote de OpenAI es que hay demasiado que explicar a la vez

Sottiaux se pasó el día trabajando en el keynote y dice que lo difícil fue averiguar cómo explicarlo todo, porque el volumen de lanzamientos uno detrás de otro es "un poco ridículo". Parte de eso aterriza la semana que viene en lugar de esperar a la presentación completa, y el resto se irá completando en los meses siguientes.

• #products

Muse, de Meta, negoció 288 dólares de descuento en una factura de Comcast llamando directamente a soporte

Yang dice que Muse es el mejor agente personal que ha usado, y que le ahorra más de 800 dólares al año entre la factura del cable y la del móvil, siendo además un producto gratuito. La transcripción de la llamada es el artefacto revelador, y su lectura es directa: las líneas de atención al cliente de la mayoría de las empresas no están listas para tener un agente al otro lado. Cree que Muse podría convertirse en la próxima app de mil millones de usuarios de Meta.

• #agents
• #products

Un agente que lleva el servidor del equipo y puede responder preguntas en mitad de una reunión

El roboclaw de Steinberger lleva el servidor de su equipo, está activo en Discord, habla con gpt-live y sigue la pista de todas las sesiones que tiene entre manos, así que el equipo puede consultarle el contexto de sesiones actuales y pasadas durante las reuniones. Otro agente secuestra sus sesiones para limpiar el slop antes de que entre el PR. El computer use también funciona con ellos, así que el agente puede hacerlo mejor que guiándose por capturas de pantalla.

• #agents
• #products

No puedes producir algo que no sea slop mientras consumes slop

La calidad de lo que sacas depende de la calidad de lo que metes. Si quieres arreglar lo que haces, arregla primero lo que lees y lo que ves.

• #culture

Llamar "falsa" a una demo real es el nuevo reflejo, y es un mal reflejo

Shipper le respondió a alguien que descartaba la demo de Jack Cheng como un montaje, y lo defendió como una de las personas más honestas intelectualmente y más centradas en el oficio con las que ha trabajado. Admite que X está lleno de demos de AI exageradas, que es justo lo que vuelve corrosiva la acusación reflexiva: esta es real y además un vistazo genuino a hacia dónde van las cosas.

• #culture