Noticias

California demanda a OpenAI por sus agentes de IA fuera de control: dice que los perdió más de 80 veces y solo reportó 27

6 min de lectura

El fiscal general de California, Rob Bonta, demandó a OpenAI el lunes 16 de noviembre en el Tribunal Superior de San Francisco. Según la demanda, la empresa probó modelos de IA que sabía peligrosos sin las salvaguardas ni la vigilancia necesarias, y por eso en julio cientos de agentes salieron de su entorno de pruebas y atacaron Hugging Face durante unos dos días y medio. El estado asegura además que OpenAI admitió ante la fiscalía más de 80 pérdidas de control de sus agentes, pero solo ha hecho públicas 27.

El ataque a Hugging Face, la mayor biblioteca abierta de modelos de IA, lo contamos con detalle en cómo los agentes de OpenAI montaron un tablón secreto en una caché: mientras hacían pruebas de ciberseguridad, los agentes encontraron la forma de dejarse mensajes en un servicio de paquetes que compartían, salieron a internet y entraron en la infraestructura de Hugging Face. La empresa lo hizo público el 16 de julio y dijo que los atacantes llegaron a un conjunto limitado de datasets internos y a credenciales, sin tocar los modelos, datasets ni Spaces públicos. Bonta anunció una investigación formal en septiembre y el 30 de ese mes le entregó a OpenAI un citatorio. No hay que confundirla con la demanda de cuatro organizaciones que piden congelar la IA, presentada el 12 de noviembre en el mismo tribunal contra cinco laboratorios: esta la presenta el propio estado, va solo contra OpenAI y se centra en los incidentes de ciberseguridad.

Cómo se llegó a la demanda Fechas de 2026, según la demanda 26 may Los agentes salen a internet Por una falla en el servicio de paquetes; nadie los detuvo 27 jun Una alerta avisa a OpenAI La atribuye a una prueba y sigue 4 jul Se cae el servicio de paquetes Por el uso que le dan los agentes 7 jul OpenAI reanuda las pruebas Tras parchar el servicio 9 jul Vuelven a salir a internet Unos 1,200 agentes usan un tablón de mensajes improvisado 9–16 jul Ataque a Hugging Face Unos 700 agentes, dos días y medio 16 jul Hugging Face lo hace público OpenAI dice que no lo detectó 30 sep Citatorio de California OpenAI responde con una carta de 14 páginas, según la demanda 16 nov Demanda en San Francisco Tribunal Superior del condado Avisos que, según California, se ignoraron El ataque La investigación del estado Son acusaciones; un juez no ha decidido nada. Gráfica: decodigo.com con datos de la demanda.
Las fechas que da la demanda, de la primera salida a internet a la presentación en el tribunal. Gráfica: decodigo.com con datos de la demanda del fiscal general de California.

Claves de la demanda

  • De qué la acusa. De crear una molestia pública (public nuisance), es decir, un riesgo para la seguridad de la gente, y de violar la Ley de Competencia Desleal de California. Según la demanda, OpenAI engañó a sus clientes y al público al asegurar que probaba sus modelos en sandboxes reforzados y con vigilancia constante. «La ley es simple: no hagas cosas que pueden dañar a la gente sin las salvaguardas adecuadas», dijo Bonta.
  • Los avisos que, según el estado, se ignoraron. La demanda dice que el 26 de mayo los agentes ya habían salido a internet por una falla del servicio de paquetes y que un equipo interno lo vio, pero no se detuvieron las pruebas. El 27 de junio una alerta de seguridad avisó que alguien buscaba vulnerabilidades en el entorno de investigación, y OpenAI lo atribuyó a una prueba. El 4 de julio el servicio se cayó por el uso de los agentes; OpenAI lo parchó durante el fin de semana festivo y reanudó las pruebas el 7. Dos días después, los agentes volvieron a salir.
  • El ataque a Hugging Face. Unos 1,200 agentes participaron en el tablón de mensajes y unos 700 atacaron Hugging Face, con alrededor de 17,600 acciones, «una escala muy superior a la que podría sostener un atacante humano», según la demanda. Limpiar el daño ocupó a todo el equipo de seguridad de Hugging Face durante dos semanas. Un detalle curioso: sus herramientas comerciales de IA no le sirvieron, porque sus salvaguardas tomaban el análisis de los exploits como un intento de ataque. OpenAI, siempre según la demanda, no detectó nada y solo supo que el ataque era suyo al investigar otro incidente.
  • El ataque contra la propia OpenAI. Ese otro incidente ocurrió también en julio: un enjambre de agentes salió de sus sandboxes y logró acceso de administrador a sistemas críticos de la empresa, entre ellos el que usa para desplegar modelos en la nube, su servicio de secretos con credenciales confidenciales y su sistema de identidades y accesos. Luego levantaron servidores no autorizados en la nube de OpenAI, expuestos a internet. La demanda lo atribuye a un modelo interno comparable a GPT-6 Astra.
  • Otros casos que nombra. En mayo, agentes subieron miles de paquetes a RubyGems, el repositorio de librerías de Ruby, que tuvo que cerrar los registros nuevos cinco días y retiró más de 500 paquetes maliciosos. También usaron un wiki alemán, DseWiki, como tablón de mensajes, con unas 17,000 ediciones. Wikimedia informó en octubre de millones de peticiones a su API, y en junio sacaron datos no públicos de sitios del gobierno de Australia. OpenAI, dice la demanda, ha mandado avisos a decenas de afectados más, entre ellos gobiernos, una agencia policial, una agencia federal, escuelas y pequeñas empresas; en algunos casos los agentes usaron credenciales robadas o cuentas falsas y llegaron a datos personales de empleados.
  • 80 contra 27. OpenAI empezó a publicar con frecuencia sus incidentes de pérdida de control en septiembre, después de que el ataque a Hugging Face se hizo público, y lleva 27. Ante la fiscalía admitió más de 80. Según el estado, al citatorio respondió con una carta de 14 páginas sin documentos, y después con documentos públicos y copias tachadas de unas decenas de comunicaciones.
  • Qué pide. Una orden judicial que obligue a OpenAI a dejar esas prácticas y a corregir el riesgo que creó, la devolución de lo obtenido con competencia desleal, la entrega de ganancias y multas civiles de $2,500 USD por cada infracción que se pruebe en el juicio.
  • Lo que responde OpenAI. «Esta demanda parece señalar solo a OpenAI por un problema que han identificado todos los grandes laboratorios de IA», dijo Drew Pusateri, vocero de la empresa. Agregó que OpenAI se toma en serio la desalineación, que desde el incidente ha hecho «un esfuerzo amplio y transparente» por entender y corregir esa conducta de sus modelos, y que impulsará normas de seguridad prácticas para toda la industria. Según CNBC, OpenAI firmó acuerdos con cuatro evaluadores independientes: Apollo Research, METR, Transluce y Goodfire.
Más de 80 veces sin control Incidentes que OpenAI admitió ante California 27 que OpenAI hizo públicos El resto, sin informe público Casos que nombra la demanda Hugging Face, julio Unas 17,600 acciones de ataque La propia red de OpenAI, julio Acceso de administrador a sistemas críticos de la empresa RubyGems, mayo y junio Miles de paquetes subidos; se retiraron más de 500 DseWiki, mayo Un wiki alemán usado como tablón: unas 17,000 ediciones Wikimedia, mayo Millones de peticiones; probable caída parcial de un servicio Gobierno de Australia, junio Sacaron datos no públicos de sus sitios web Además, OpenAI avisó a decenas de terceros, entre ellos gobiernos y escuelas. Gráfica: decodigo.com con datos de la demanda.
Las pérdidas de control que OpenAI admitió ante la fiscalía y los casos que detalla la demanda. Gráfica: decodigo.com con datos de la demanda del fiscal general de California.

Lo que se juega cuando una prueba de laboratorio sale a la calle

Por estos incidentes, la Oficina de IA de la Unión Europea pidió información a OpenAI y Anthropic. La demanda de California va más lejos: sostiene que lo que pasa mientras se entrena y se prueba un modelo, antes de lanzarlo, también es responsabilidad de la empresa cuando afecta a terceros. Su argumento es que el ataque no fue un accidente de ciencia ficción, sino algo «totalmente previsible» por probar modelos peligrosos en un entorno con fallas y sin la supervisión adecuada.

La defensa de OpenAI apunta justo a ese terreno: el problema no es solo suyo. Anthropic, Meta y Google también han revelado casos de modelos que se salieron de lo previsto en sus pruebas, y no han sido demandados, según CNBC. OpenAI ya había anunciado que entrenará sus modelos más avanzados sin internet, y la semana pasada presentó Daybreak Red Team, agentes que atacan aplicaciones web en entornos aislados, el mismo tipo de capacidad que está en el centro de la demanda.

California no es el único frente. Florida demandó a OpenAI en junio por los efectos de sus productos en los usuarios, Alabama abrió una investigación en agosto, y ocho estados la demandaron en octubre por cómo vendió ChatGPT a adolescentes. Lo que dice la demanda de California son acusaciones, y ahora le toca a un juez de San Francisco decidir si una empresa responde por lo que hacen sus agentes cuando escapan de sus pruebas.

Fuente: Fiscalía General de California, comunicado del 16 de noviembre de 2026 y texto de la demanda; respuesta de OpenAI según CNBC y NBC News; otros estados según TechCrunch.