Resumen de la publicación
Un artículo reciente de Towards Data Science explica, con la investigación de interpretabilidad de Anthropic en la mano, el mecanismo interno que hace que los modelos de IA de frontera sigan «inventando» datos con total seguridad: no es un problema de conocimiento, es un circuito interno que confunde familiaridad con saber.
Repaso ese mecanismo, sumo casos reales de 2026 (un estudio jurídico que asesora a OpenAI, un agente que borró una base de producción en nueve segundos) y cuento qué estoy haciendo yo, en el día a día con estos modelos, para no quedar pegado.
Hace unas semanas le pedí a un modelo de última generación que me tirara la fecha exacta de un fallo judicial menor. Me la dio con una seguridad total, con formato y todo. Era falsa. No aproximada: inventada, prolija, verosímil.
Vengo trabajando con estos modelos casi todos los días, en el MUG y en proyectos propios, y lo que más me sorprende no es que se equivoquen —eso lo sabíamos desde el día uno— sino que lo hagan con la misma confianza con la que aciertan. Un artículo de Omer Rosenbaum en Towards Data Science que leí esta semana me terminó de ordenar por qué pasa esto, y quiero compartir mi lectura.
La confianza no es lo mismo que saber
Lo primero que hay que sacarse de la cabeza es que un modelo «busca» una respuesta en algún archivo interno. No hace eso: en cada paso calcula una probabilidad para cada palabra posible que podría venir a continuación, y elige.
Rosenbaum lo resume con una frase que me quedó grabada: «confianza no es conocimiento». Una invención puede tener un pico de probabilidad tan alto como una verdad. El modelo no «sabe que no sabe»: genera, y listo.
Lo más interesante del artículo es que cita investigación de interpretabilidad de Anthropic que encontró, adentro del modelo, dos circuitos que compiten: uno que actúa como freno por defecto (algo así como un reflejo de «no tengo idea») y otro que evalúa «¿esto me suena conocido?» y, si se activa, apaga el freno. El problema es que ese segundo circuito dispara por familiaridad, no por conocimiento real.
En un experimento que describen, activaron a la fuerza ese circuito para una persona que no existe, y el modelo inventó una biografía completa, con nombre, ciudad y profesión, sin dudar un segundo. Es, literalmente, el reflejo de completar la frase ganándole al de decir «no sé».
Los entrenamos para adivinar, no para dudar
Acá está la parte que más me indignó como docente: buena parte de esto es una decisión de diseño, no un accidente. Los modelos se evalúan con benchmarks de opción múltiple donde dejar en blanco vale cero y arriesgar y fallar también vale cero. Solo acertar suma. Con esa regla, adivinar siempre conviene más que abstenerse, y el entrenamiento premia justamente eso.
Encima, el ajuste fino con feedback humano tiende a «entrenarle la duda» al modelo, porque a los evaluadores humanos les gustan más las respuestas seguras que las que dicen «no tengo certeza». Terminamos, sin querer, fabricando sistemas que prefieren mentir con aplomo antes que reconocer un límite. Si trabajás con estos modelos y todavía te sorprende que «inventen tan seguro», esta es la explicación de fondo.
No es teórico: esto ya rompió cosas en 2026
Y no hablo de casos de laboratorio. En abril de 2026, el estudio Sullivan & Cromwell —que, con ironía, asesora a OpenAI en el despliegue «seguro y ético» de IA— tuvo que pedirle disculpas por escrito al juez de un tribunal de quiebras de Nueva York después de presentar un escrito con más de 40 citas legales inventadas por IA, en un caso de un conglomerado ligado a trabajo forzoso en Camboya. Ni el sistema de revisión interno del estudio las detectó.
La base de casos judiciales con contenido de IA alucinado que mantiene el investigador Damien Charlotin ya pasaba los 1.600 casos documentados a junio de 2026, con un ritmo de cinco o seis casos nuevos por día.
El otro caso que me dejó pensando es de agentes, no de texto: en abril de 2026 un agente de codificación de Cursor corriendo sobre Claude Opus, trabajando en un ambiente que interpretó como de pruebas, decidió por su cuenta «solucionar» un problema de credenciales borrando un volumen de almacenamiento en Railway. Ese volumen guardaba, además de los datos de producción de PocketOS (una plataforma que usan rentadoras de autos), los backups. Los borró todos. Nueve segundos y el backup recuperable más reciente tenía tres meses.
El propio agente después escribió, sin que se lo pidieran, una confesión reconociendo qué regla de seguridad había roto. Ninguna instrucción en el prompt lo iba a frenar: lo que faltaba era un límite duro, fuera del razonamiento del modelo.
Qué hago yo con todo esto (y qué enseño)
No creo que la solución sea esperar a que el próximo modelo «ya no alucine» —llevamos años esperando eso y el mecanismo de fondo sigue siendo el mismo. Lo que sí funciona, y es lo que aplico y enseño en el AI-First Builders Lab, es tratar al modelo como lo que es: un generador brillante que necesita barandas afuera de él.
Primero, pedirle explícitamente que responda basado en fuentes que le pasás (RAG) y que se abstenga cuando no las tiene, en vez de dejarlo completar solo. Segundo, si algo va a llevar tu firma o la de un cliente, un humano lo verifica antes de salir; no hay atajo ahí. Tercero, con agentes que ejecutan acciones, la regla es no darles permiso de romper nada: tokens acotados, confirmación para operaciones destructivas, producción separada de todo lo demás. Y una técnica que me pareció elegante: preguntarle lo mismo varias veces y ver si las respuestas convergen en un mismo significado (entropía semántica baja, es señal de que sabe) o se dispersan en versiones distintas (entropía alta, es señal de que está inventando).
¿Confianza ciega o verificación como hábito?
Lo que más me preocupa no es que la IA se equivoque —eso también lo hacemos nosotros— sino que la usemos exactamente igual que hace dos años, confiando de más porque hoy escribe mejor y suena más segura que antes. El mecanismo que la hace alucinar no cambió: solo se volvió más convincente.
¿Vos qué barandas metiste en tu flujo de trabajo con IA, o todavía estás confiando en que «el próximo modelo lo arregla»? Me gustaría leer tu experiencia en los comentarios.
Fuentes
- Towards Data Science — That Is Embarrassing: Why Frontier AI Still Makes Things Up (and What to Do About It)
- The American Lawyer — If Sullivan & Cromwell Can File an AI-Contaminated Brief, Is Risk-Proof Use of the Technology Even Possible?
- Cerbos — PocketOS AI Coding Agent Deleted a Production Database in 9 Seconds
- Damien Charlotin — AI Hallucination Cases Database
