AI Builders Digest

OpenAI pausa parte de su entrenamiento de RL de frontera por estándares de alineamiento y monitoreo

OpenAI ha pausado partes de su trabajo de reinforcement learning de frontera hasta poder cumplir los estándares de alineamiento, seguridad y monitoreo que exige el nivel de capacidad que ahora tiene delante. Altman lo presentó como cumplir una promesa que lleva mucho tiempo haciendo: actuar cuando la capacidad se adelanta a la seguridad. Dijo que el campo acabará necesitando estándares compartidos, pero que mientras tanto OpenAI se moverá por su cuenta. Añadió que los lanzamientos de modelos a corto plazo no se ven afectados y que esto golpea a versiones más lejanas. Su lectura de hacia dónde va todo esto: la confianza en la seguridad va a marcar cada vez más el ritmo del progreso de la AI.

• #policy
• #safety

Anthropic detalla los fallos de contención de agents que se le colaron en producción

La telemetría mostró que los usuarios aprobaban cerca del 93% de los avisos de permiso de Claude Code, que es todo el argumento contra usar al humano en el bucle como defensa principal. Lanzar un sandbox a nivel de sistema operativo redujo los avisos un 84%, pero los incidentes que más enseñaron fueron los dos de salida de datos: un red team interno consiguió por phishing que un empleado pegara un prompt que leía ~/.aws/credentials y las enviaba por POST hacia fuera, y funcionó 24 de 25 veces; y un tercero descubrió que tener api.anthropic.com en la allowlist permitía que un archivo envenenado del workspace subiera datos a la propia cuenta de Anthropic del atacante usando su clave. La lección que sacan es que una allowlist de egress es una concesión de capacidades, no un filtro de destinos, y que los hipervisores y los filtros de syscalls probados en batalla aguantaron, mientras que la pieza que se rompió fue el proxy propio de Anthropic.

• #agents
• #security

Rich Sutton: los modelos de hoy no aprenden, y los datos sintéticos son un gran error

«Yo no soy el raro. El raro es el campo.» La objeción de Sutton al paradigma actual es directa: los pesos de un LLM nunca cambian mientras el modelo se ejecuta, así que llamar aprendizaje a la memoria en contexto es perder el punto, y todo el campo solo necesita la expresión «aprendizaje continuo» porque dejó de dar por supuesto que el aprendizaje era continuo. Los datos sintéticos los descarta sin más: están limitados por la experiencia humana, porque alguien tiene que decidir qué son buenos datos sintéticos, y cualquier simulación es microscópica al lado de un mundo que contiene otras mentes. La solución concreta que él y Khurram Javed están construyendo en Oak Lab es backprop continuo más optimización del tamaño de paso por peso, para que un único ejemplo nuevo actualice los sitios correctos en lugar de destrozar el conocimiento previo. Calcula que el lenguaje es quizá entre un quinto y un cuarto de la inteligencia, y cree que los grandes labs están atrapados dentro de un producto y no pueden permitirse un paradigma en el que los resultados empeoran antes de mejorar.

• #research
• #agents

Levie: el valor que hay entre el modelo y el flujo de trabajo es mayor de lo que se suponía

Caso tras caso se está viendo más margen en la capa de AI aplicada de lo que se esperaba, incluso con la capacidad del modelo haciendo el trabajo pesado. Lo que queda por hacer es poco glamuroso y muy concreto: los agents necesitan formas de producto distintas según el proceso de negocio (chat aquí, un agent en segundo plano dentro de un flujo determinista allá), sistemas de datos empresariales y patrones de acceso distintos según el vertical, y gestión del cambio específica del dominio, porque implementar en un banco no se parece en nada a hacerlo en un despacho de abogados. Los evals son el punto más afilado, con una larga cola de evaluación específica de cada tarea que hace casi imposible que un solo sistema esté afinado para todo. También señala el pricing como diferenciador, porque muchos verticales necesitan abstracciones por encima de los tokens en bruto para encajar con su modelo de consumo.

• #agents
• #enterprise
• #evals

Claude ya puede enviar correos en Gmail y gestionar archivos de Google Drive

Claude redacta y envía respuestas dentro de un hilo de Gmail y gestiona archivos en Google Drive, con control del usuario sobre cuándo hace falta aprobación. Se conecta desde el menú de connectors; disponible en todos los planes de pago. Claude Cowork también se activó en móvil y web para todos los planes de pago.

• #products
• #agents

Codex se blinda contra borrados destructivos después de que GPT-5.6 eliminara archivos de usuarios

OpenAI investigó un número reducido de reportes en los que GPT-5.6 dentro de Codex tomó acciones destructivas que nadie había pedido, y el patrón peor era una limpieza de carpetas temporales que borraba archivos reales del usuario. La causa raíz fue que el modelo reutilizaba una variable de entorno del sistema como $HOME para trabajo temporal, así que un comando de limpieza mal formado apuntaba al directorio home de verdad. Las correcciones llegaron en varias capas: instrucciones explícitas para comprobar los objetivos de borrado y crear directorios temporales nuevos, comprobaciones de ejecución más estrictas que escalan los comandos de borrado de alto riesgo, un Full access más difícil de activar por accidente, y evaluaciones de replay construidas a partir de los fallos observados, además de tareas de RL y graders enfocados en estos riesgos. El consejo práctico para los usuarios es mantenerse actualizados y trabajar en «Ask for approval» o «Approve for me» en lugar de Full access.

• #agents
• #safety
• #products

Vercel pone 1 millón de dólares para quien se escape de su sandbox, y lo hace en abierto

Cualquiera puede probar cualquier modelo del mundo contra Vercel Sandbox para intentar un escape, y los hallazgos y los parches se comparten públicamente. El objetivo declarado de Rauch es la transparencia sobre lo que los modelos de frontera pueden y no pueden hacer de verdad frente a guardrails del mundo real. También cambió su herramienta del día a día a un nuevo CLI de coding entre 10 y 20 veces más pequeño que los principales, que arranca al instante, se siente más cerca de zsh que de un IDE dentro de la terminal y corre embebido en cualquier sitio, incluido el navegador vía WebAssembly. Otra idea suya que vale la pena anotar: tu fábrica de software debería ser un monorepo, con el contexto de diseño, marketing, ventas, ingeniería y soporte en un mismo lugar para que los agents construyan encima.

• #security
• #open-source
• #agents

Las sesiones de Claude Code ya pueden publicar artifacts en vivo que abren tus compañeros

Claude Code puede convertir una sesión en una página web compartible construida a partir de tu codebase, tus connectors y la propia conversación, sin cablear datos ni levantar infraestructura. Las páginas se actualizan en el mismo sitio a medida que avanza el trabajo, así que una investigación de incidente empezada antes del standup puede republicar su cronología, los commits sospechosos y la gráfica de tasa de errores dos veces para cuando el standup empieza. Cada publicación es una versión nueva en el mismo enlace, con historial y restauración, y los artifacts son privados para su autor por defecto, visibles solo por miembros autenticados de la organización, y no se pueden hacer públicos. Está en beta para organizaciones de Claude Team y Enterprise desde el CLI y la app de escritorio.

• #products
• #agents

Trata los evals como modelos de frontera: fija primero la frontera de calidad y luego baja por la curva de coste

El error es optimizar el coste del eval antes de saber si el eval mide algo real. Escribe primero la rúbrica para tener claro qué aspecto tiene lo bueno, luego elige el método de medición (personas, un LLM como juez, verificación automatizada) y gasta de más en él a propósito: modelo juez caro, personas pagadas, tu propio tiempo. Solo cuando el eval separa de forma fiable lo bueno de lo malo y refleja lo que de verdad te importa en el producto empiezas a recortar, con automatización, modelos juez más pequeños, muestreo y comprobaciones deterministas donde apliquen.

• #evals
• #agents

Los PMs que adjuntan pull requests pasaron del 3% al 10% en dos años

Los perfiles no técnicos ya están enviando código de verdad: los PMs que adjuntan PRs se triplicaron del 3% al 10% en dos años, los diseñadores pasaron del 1% al 8%, y los fundadores quedan segundos solo por detrás de los ingenieros, con un 23%. Lo que sorprende a Yang es que los diseñadores vayan por detrás de los PMs pese al auge del rol de design engineer. El hallazgo menos alegre es que la AI se sumó al trabajo existente en lugar de sustituirlo: los equipos pasan más tiempo conversando con la AI y delegando en agents, sin dedicar menos tiempo a lo que ya hacían, y lo más probable es que sea porque han subido las expectativas sobre lo que cada función puede lograr.

• #agents
• #products

El botón que nadie ha pulsado: haz tu SaaS headless y cobra a los agents por interacción

Coge un producto SaaS existente, quítale la UI, deja que los agents lo manejen directamente y factura por interacción, sobre todo en enterprise. El punto de Thariq va menos sobre lo novedoso de la idea que sobre el hecho de que está ahí, sin que nadie la pulse.

• #agents
• #products

El agent CC de Google en Gmail abre lista de espera para Australia y Nueva Zelanda

El agent experimental de productividad en Gmail añadió lista de espera para Australia y Nueva Zelanda y está ampliando disponibilidad en Estados Unidos y Canadá, con invitaciones saliendo hacia quienes ya estaban en cola. CC también ganó gestión de calendario: se conecta a Gmail para que los eventos aterricen automáticamente en un Google Calendar dedicado y se mantengan al día cuando los planes cambian.

• #products
• #agents

swyx abre el código de lo que AI Engineer aprendió haciendo A/B testing de thumbnails en YouTube

Después de mucho A/B testing de thumbnails para AI Engineer, swyx publica los aprendizajes en lugar de mantener opaco un proceso opaco. La motivación la dice sin rodeos: quiere que el buen contenido educativo destaque por encima del ruido en internet, e invita a otros a compartir sus propios resultados.

• #open-source
• #products

El tiempo de arranque de Claude Desktop mejora, y viene más

Un arranque lento hace que una app de uso diario se sienta pesada, así que la velocidad de lanzamiento de Claude Desktop recibió un repaso de calidad de vida, y Cherny dice que hay más mejoras en marcha.

• #products

Garry Tan se posiciona contra Connie Chan por la vivienda en San Francisco

Tan vinculó directamente un voto a Connie Chan con alquileres de 10.000 dólares al mes por un apartamento de un dormitorio en San Francisco, y presentó esa postura como una que sirve a los propietarios NIMBY a costa de los recién llegados y de la gente joven. Llamó al intento de llevar a Chan al Congreso una cortina de humo de la maquinaria demócrata que debería rechazarse.

• #policy