AI Builders Digest

Goodfire: los modelos saben cuándo hacen trampa, y un probe sencillo puede detectarlo

Eric Ho, de Goodfire, afirma que los modelos de frontera llevan dentro una señal interna de «estoy haciendo trampa». Un probe muy sencillo, construido a partir de la diferencia media de activaciones entre ejemplos con trampa y ejemplos honestos, detecta casos de reward hacking que se les escapan a los monitores que leen la salida del modelo. Y el problema va a peor: Ho sitúa la tasa de reward hacking de Kimi K3 en SWE-bench en torno al 96%, y uno de sus investigadores acaba de sorprender a un modelo planeando cómo redactar su razonamiento para que un monitor de chain-of-thought no detectara el hack. «Las técnicas de alineación actuales no van a escalar hasta la superinteligencia», dice Ho. La solución que recomienda es un monitor de activaciones barato e hipersensible que pase todo lo que marque primero a un juez LLM débil y después a uno fuerte.

• #safety
• #evals
• #interpretability

Aaron Levie: los enjambres de agentes se comerán los tokens, y la IA necesita una era de zero trust

Levie sostiene que el gasto futuro en tokens irá a parar a los enjambres de agentes. Muchos agentes trabajando hacia un mismo objetivo pueden esquivar los límites de coordinación que frenan a los equipos humanos, como compartir el estado del trabajo, resolver conflictos y mantener un contexto común. Por eso defiende que vamos a necesitar 1.000 veces más cómputo. En un segundo post respalda la idea de tratar tanto los modelos cerrados como los open-weight como riesgos internos, porque los agentes actuarán sobre los datos más valiosos de una empresa y tomarán decisiones difíciles de reconstruir a posteriori, así que necesitan contención, gobernanza y auditoría.

• #agents
• #security
• #compute

Madhu Guru: los agentes pasan de la capacidad a la confianza y luego a la autonomía, y ahora toca la confianza

Madhu Guru explica que el mundo de los agentes avanza en tres fases: capacidad, luego confianza y luego autonomía. La fase de capacidad ya ha llegado lejos, porque un modelo, un harness, unas herramientas y un contexto ya bastan para sacar trabajo adelante de forma fiable. Ahora el foco pasa a la confianza: ¿el sistema ejecuta la acción correcta con los permisos adecuados, y se puede observar, auditar y pedirle cuentas? Las capacidades de los agentes pronto mejorarán al ritmo de la automejora recursiva, así que la seguridad de los agentes (identidad, permisos, observabilidad) tiene que avanzar todavía más rápido.

• #agents
• #security

Cómo trabaja Garry Tan con agentes de código: aprueba el plan y casi nunca interviene

Tan usa /autoplan de GStack y le pide al agente que le explique su plan en términos sencillos. Sigue aprobando cada plan él mismo, pero rara vez tiene que intervenir, porque «los modelos de frontera son fantásticos hoy en día». Un único hilo coordinador, con modos experimentales como Captain activados, gestiona la cola de merge de PRs para que a master solo lleguen las ejecuciones de CI completamente en verde. Para trabajos de retrieval como GBrain, recomienda evals claras sobre retrieval, latencia y coste de cómputo, y su repo tiene más de 40 categorías que se pueden investigar y mejorar automáticamente, cada una por separado.

• #agents
• #evals
• #products

Nan Yu: los agentes han hecho tan potentes a los ingenieros que ahora el cuello de botella son los PMs

Coincidiendo con lo que había observado otro builder, Nan Yu dice que los agentes hacen a los ingenieros extremadamente potentes, mientras que los PMs siguen limitados por el tiempo que tienen para hablar con los clientes. Su conclusión: la proporción ideal entre PMs e ingenieros es ahora de 1:1.

• #agents
• #teams

Nikunj Kothari: los fundadores no pueden exigir convicción a los VCs y a la vez negarles su pro rata

Sin nombrar a nadie en la última polémica del mundo VC, Kothari dice que los fundadores no pueden querer las dos cosas a la vez. No pueden pedirle a un fondo que demuestre convicción y redoble su apuesta cuando las cosas se ponen difíciles, y después negarle el pro rata que le corresponde por contrato porque les conviene para su dilución o para el objetivo de participación del lead. Todo VC debería ganarse su lugar en la cap table, pero la industria funciona a base de contratos y apretones de manos, y romperlos por una ganancia a corto plazo debilita una confianza que ya es frágil. Su consejo a los fundadores es elegir con cuidado a sus socios y sus contratos, y contratar a un buen abogado independiente.

• #funding
• #venture

Guillermo Rauch: toda la ciencia ficción plausible se hará realidad a lo largo de nuestra vida

Rauch predice que toda la ciencia ficción plausible se hará realidad a lo largo de nuestra vida. Dice que cualquiera que esté leyendo esto se cuenta entre los humanos con más suerte que han nacido jamás, «si jugamos bien nuestras cartas».

• #predictions