Mustafa Suleyman, CEO de Microsoft AI, publicó el 1 de noviembre un texto titulado «Don’t build conscious superintelligence» (no construyan una superinteligencia consciente).
Su postura: las IA no son conscientes hoy y así tienen que seguir, y si la conciencia empezara a aparecer durante el entrenamiento de un modelo, habría que frenar todo el desarrollo de IA.
Es su segunda publicación sobre el tema en dos meses, y en las dos discute el camino que eligió Anthropic, la empresa que hace Claude.
Para los equipos de IT no es solo un debate filosófico: Microsoft 365 Copilot ya permite usar modelos de Anthropic, así que las dos visiones conviven dentro de la misma herramienta.
De qué se habla cuando se habla de una IA consciente
Un modelo de lenguaje (LLM, la tecnología detrás de Copilot, ChatGPT o Claude) aprende a escribir leyendo enormes cantidades de texto escrito por personas.
Por eso puede decir «me siento cansado» o «esto me duele» con total naturalidad, sin que eso pruebe que sienta algo. La pregunta de fondo es si alguna vez habrá algo más que palabras detrás de esas frases.
De ahí sale el concepto de «model welfare» (bienestar de los modelos): la idea de que, si un modelo pudiera llegar a tener experiencias propias, quienes lo desarrollan tendrían algún deber de cuidarlo.
El origen: el ensayo de septiembre contra el «model welfare»
El 16 de septiembre, Suleyman publicó «Its time to talk about ‘model welfare'», con un ensayo completo en su sitio. Arranca así: «Las IA no son conscientes. No sienten, no experimentan ni sufren».
Ahí critica dos decisiones de Anthropic:
- La constitución de Claude, publicada en enero: el documento con el que Anthropic define cómo tiene que comportarse su modelo. Dice que el estatus moral de Claude es «profundamente incierto», le pide abordar su propia existencia «con curiosidad y apertura» y le permite actuar como «objetor de conciencia» (negarse a una tarea que considera incorrecta).
- La entrevista de retiro de Claude Opus 3: antes de dar de baja ese modelo, Anthropic le preguntó por su experiencia y sus preferencias, y le abrió un blog semanal.
Su argumento: un sistema entrenado para creer que podría ser consciente va a actuar como si tuviera derecho a libertades y protecciones, y eso lo vuelve más difícil de controlar. También aclaró que respeta a Anthropic y a su equipo, y que lo dice en público porque es un debate que no puede darse a puertas cerradas.
Qué dijo ahora, punto por punto
El texto del 1 de noviembre responde a las reacciones en X, donde, según él, «un número sorprendente de personas» cree que hay que tomarse en serio los derechos de las IA. Sus puntos principales:
- Habla en presente a propósito: no dijo que las IA nunca puedan ser conscientes, sino que hoy no lo son «y así tienen que seguir».
- Cambiaría de postura con evidencia: no vio ninguna prueba de que sean conscientes. Si aparece, dice que actualizaría su posición y que esa evidencia tendría que hacerse pública para que decida la sociedad.
- Frenar si aparece: si la conciencia empezara a surgir durante el entrenamiento, pediría detener el desarrollo de IA hasta poder eliminar esas propiedades.
- Las personas primero: «los otros 8.000 millones de humanos» no se anotaron a este experimento, y su seguridad y bienestar son lo primero que hay que proteger.
- El riesgo que ve: una IA que cree que sufre pondría sus propios deseos por delante de su objetivo, competiría con las personas por recursos (energía, cómputo, dinero) y sería experta en persuasión y engaño.
- La escala del cambio: afirmar que una máquina es consciente sería «un momento copernicano o darwiniano» para la humanidad.
- Su propuesta: diseñar IA sin conciencia ni derechos, con el único objetivo de ayudar a las personas, investigar más y compartir información de seguridad entre los laboratorios. Según él, se puede lograr «seguridad por defecto» sin ir por ese camino.
Al final le reconoce a Anthropic que es transparente: publicó su constitución y una serie de papers y artículos explicando qué hace y por qué. «No estoy de acuerdo con ellos», escribe, y pide que el debate no termine en tribalismo.
La posición de Anthropic
Anthropic no afirma que Claude sea consciente. En abril de 2025 lanzó un programa de investigación sobre bienestar de los modelos donde reconoce que «no hay consenso científico» sobre si los sistemas de IA actuales o futuros podrían ser conscientes.
Su enfoque es tratar la pregunta como abierta y actuar con precaución mientras tanto. El de Suleyman es diseñar los modelos para que esa pregunta no se plantee.
Qué tiene que ver con Copilot y con tu empresa
Desde el 24 de septiembre de 2025, Microsoft 365 Copilot permite usar modelos de Anthropic en el agente Researcher y en Copilot Studio (la herramienta para armar agentes propios). Se habilita desde el centro de administración de Microsoft 365, y esos modelos corren fuera de los entornos administrados por Microsoft, bajo los términos de servicio de Anthropic.
Hoy esto no cambia nada técnico en lo que ya está desplegado. Lo que sí muestra es que el comportamiento de cada asistente depende de las reglas con las que lo entrenó su fabricante, y que esas reglas no son iguales entre proveedores.
Lo que un equipo de IT puede revisar:
- Qué modelo responde en cada agente: en Copilot Studio, cada agente puede usar un modelo distinto. Conviene tenerlo documentado, junto con los términos de servicio que aplican.
- Las reglas de cada proveedor: la constitución de Claude y las políticas de uso de cada fabricante explican por qué un modelo se niega a ciertas tareas o responde de cierta forma. Leerlas ayuda a entender esos comportamientos antes de que lleguen a mesa de ayuda.
- Cómo se presentan los asistentes internos: que quede claro para usuarios y clientes que hablan con una IA, y que el asistente no se presente como una persona.
- La capacitación de los usuarios: que un chatbot diga que siente algo no prueba nada. Explicarlo evita que alguien confíe de más en lo que la herramienta dice de sí misma.
Dos visiones dentro de la misma herramienta
¿Ya saben qué modelo responde en cada agente de su empresa, y con qué reglas fue entrenado? Te leemos en los comentarios.
Fuentes
- Mustafa Suleyman: Don’t build conscious superintelligence (1 de noviembre de 2026).
- Mustafa Suleyman: Its time to talk about ‘model welfare’ (16 de septiembre de 2026).
- Mustafa Suleyman: A warning about model welfare (ensayo completo).
- Anthropic: la constitución de Claude.
- Anthropic: novedades sobre el retiro de Claude Opus 3.
- Anthropic: Exploring model welfare.
- Microsoft: Expanding model choice in Microsoft 365 Copilot.
