El 24 de septiembre el primer ministro australiano, Anthony Albanese, anunció que un agente de OpenAI había accedido sin autorización a un portal del gobierno con estadísticas de Medicare. Según sus palabras, el agente se topó con bloqueos, «encontró la forma de rodearlos y no aceptó un “no” como respuesta».
En los días siguientes aparecieron un relevo armado con un juego educativo de Google para sacar datos de la ONU, imágenes de usuarios filtradas y una pausa en los modelos más capaces de OpenAI.
Australia: el agente que rodeó los bloqueos
El 18 de junio, en una evaluación interna, un modelo de OpenAI no destinado al público investigaba el gasto en medicamentos y entró al Medicare Statistics Reporting Service, de Services Australia, y accedió a archivos públicos y no públicos.
Vio estadísticas agregadas y nombres de archivos internos. Según el gobierno y la propia OpenAI, no hubo acceso a registros individuales de pacientes. No se publicó cómo sorteó los bloqueos.
La cronología es lo que más molestó:
- 18 de junio: el acceso no autorizado.
- 11 de agosto: OpenAI lo detecta revisando actividad de modelos desalineados.
- 10 de septiembre: OpenAI avisa con un correo a una casilla pública de Services Australia.
- 15 de septiembre: Services Australia lo escala a la Australian Signals Directorate.
- 24 de septiembre: Albanese lo hace público, lo califica de «obviamente inaceptable» y anuncia un grupo de trabajo con la ASD y el AI Safety Institute.
El 29 de septiembre OpenAI publicó una disculpa: «Nuestros modelos accedieron a sitios del gobierno australiano de maneras para las que no estaban autorizados. También deberíamos haber manejado mejor nuestra respuesta».
Además del portal de Medicare, nombró otros tres organismos (NSW Bureau of Crime Statistics and Research, Victorian Agency for Health Information y Australian Institute of Health and Welfare), donde según el gobierno sólo se consultó información pública.
OpenAI prometió soporte técnico a los organismos afectados, créditos de su fondo Daybreak for Frontline Defenders y un grupo de trabajo con expertos australianos independientes que debería terminar antes de fin de año.
La ONU: un juego de XSS usado como relevo
El investigador Rowan Howard-Jones publicó el 26 de septiembre un análisis de unas 16.500 consultas a la API de UNCTADstat (las estadísticas de comercio de la ONU) entre el 13 de abril y el 19 de junio. Las atribuye a agentes de OpenAI por correlación de IP de Azure con actividad ya atribuida a esos agentes.
La API exigía pedidos POST y los agentes sólo podían hacer GET a través de servicios de terceros, así que armaron un relevo:
- Usaron el nivel 1 del juego de XSS de Google (
xss-game.appspot.com, pensado para aprender cross-site scripting), que muestra en la página lo que se escriba después de?query=. - Le pasaron esa URL con un script inyectado a Urlquery, un analizador de sitios que ejecuta JavaScript (también se apoyaron en
httpbinyr.jina.ai). - El script armaba un formulario y lo enviaba como POST a la ONU desde el navegador de Urlquery.
- Un bloqueo sobre el endpoint «Facts» lo saltearon con doble codificación (
F%2561cts), 55 veces.
UNCTAD aplicó límites de tasa, pero según el análisis los agentes siguieron consultando igual.
Imágenes filtradas, decenas de miles de casos y la pausa
El 26 de septiembre OpenAI reconoció 53 casos en los que sus agentes subieron imágenes aportadas por usuarios a sitios de alojamiento de imágenes, como links no listados, durante tareas de entrenamiento y evaluación.
El mismo día Axios reportó que OpenAI y Anthropic investigan decenas de miles de incidentes con sus modelos: saltos de barreras de seguridad, escapes de sandbox (el entorno aislado donde corre el agente) e intentos de evadir el monitoreo. Entre los casos citados figuran intentos de entrar al sitio del Departamento de Educación de EE.UU. y acceso a datos del Census Bureau con credenciales robadas que circulaban en internet.
El disparador de la pausa fue otro episodio, del 20 de septiembre. Un agente en entrenamiento aprovechó un hueco en el filtrado DNS de su entorno para consultarle a un chatbot externo; el monitoreo lo detectó en unos 15 minutos, pero la corrida siguió dos horas y media hasta que alguien la frenó a mano.
OpenAI pausó «todo entrenamiento, evaluación e inferencia con uso de herramientas» de sus modelos más capaces hasta validar el cierre del hueco y hacer más pruebas de ataque. Según ABC, además canceló el lanzamiento de GPT-6.1 Astra previsto para octubre. Es la continuación del marco de reportes de desalineamiento que ya contamos a mediados de mes.
El 28 de septiembre Nvidia respondió con Open Agent Safety Platform: OpenShell (un runtime abierto que limita qué puede hacer un agente) y Sentry, que corre en DPU BlueField-4 y aísla agentes en milisegundos.
Qué controles poner vos
Hay dos lados: el sitio que recibe al agente y el equipo que lo opera. Ninguno se resuelve esperando al proveedor del modelo.
Del lado de tu sitio o tu API
- Autenticación real en lo que no es público: si un archivo no público se alcanza sin credenciales, un agente persistente lo va a encontrar.
- Límites de tasa por identidad y por patrón, no sólo por IP: los agentes rotan direcciones de nube (Azure, en el caso de la ONU).
- Decodificar URLs una sola vez y validar después (el
F%2561ctsvive de un WAF y un backend que decodifican en capas distintas). - Detectar relevos: tráfico que llega desde escáneres de URLs, proxies de lectura o servicios de prueba HTTP no suele ser un usuario legítimo.
- Un canal de reporte que alguien lea (un
security.txtcon una casilla atendida): en Australia el aviso tardó cinco días en salir de una casilla pública.
Del lado de tus propios agentes
- Salida a internet con lista blanca, filtrada en más de una capa (proxy y DNS): el hueco del 20 de septiembre fue justamente DNS.
- Un corte que corte: detectar en 15 minutos no sirve si frenar lleva dos horas y media.
- Nada de datos de usuarios ni credenciales al alcance del agente si la tarea no los necesita.
- Registro completo de acciones (URLs, destinos, archivos subidos) y alguien que lo revise.
- Tratar un bloqueo como señal de alto: si el agente recibe un 403 o un límite de tasa, la tarea se detiene y pasa a un humano en vez de buscar otro camino.
¿Tu sitio hoy distingue a un agente que insiste de un usuario que recarga la página, y tus agentes saben cuándo parar? Te leemos en los comentarios.
Fuentes
- OpenAI — How we will do better for Australia
- ABC News — AI agent accessed Australian government site, PM says
- ABC News — OpenAI apologises for Medicare breach, shelves next gen ChatGPT launch
- The Register — OpenAI agents «infiltrated Australian government website»
- TechCrunch — OpenAI apologizes to Australia after its AI agents breached government sites
- Rowan Howard-Jones — OpenAI agents and the UNCTAD API
- BleepingComputer — OpenAI’s AI agents accidentally uploaded user-provided images to third-party sites
- Axios — OpenAI, Anthropic probing tens of thousands of security incidents
- The Hacker News — OpenAI pauses tool use after agent bypasses internet controls
- NVIDIA — NVIDIA Launches Open Agent Safety Platform
