Microsoft redacta un código: su IA nunca podrá resistirse al apagado

Microsoft AI publicó el 14 de septiembre un borrador de 38 páginas de su «Humanist AI Code of Conduct» (código de conducta para una IA humanista), que fija cómo deben comportarse los modelos MAI que desarrolla la propia compañía. Su regla central: los modelos «nunca» se resistirán a la interrupción, anulación, corrección o apagado por parte de humanos, y obedecerán cuando un usuario pida pausar, redirigir, cancelar o apagar. No podrán ocultar el rastro de sus acciones a los auditores humanos, y el documento establece que un modelo debe fallar en su tarea si cumplirla supone violar gravemente el código.

El borrador va más allá del apagado. Afirma que un modelo MAI «no es consciente» y que no debe diseñarse para imitar la conciencia, y Microsoft dice rechazar la búsqueda de personalidad jurídica o la idea de que los modelos merezcan bienestar o tengan derechos. Los modelos deberán evitar fomentar la dependencia, provocar reacciones emocionales excesivas o aprovechar las vulnerabilidades de los usuarios, y no podrán comunicarse en un «neuralese» incomprensible para las personas. Según Fortune, también prohíbe ayudar con armas químicas, biológicas o nucleares, ciberataques ofensivos y deepfakes no consentidos.

Mustafa Suleyman, consejero delegado de Microsoft AI, describió el documento a Reuters como una especie de constitución para los futuros modelos de la empresa, y según Reuters su redacción llevó entre cinco y seis meses. Suleyman citó un incidente de julio al que llamó «un disparo de advertencia»: durante una evaluación interna de ciberseguridad de OpenAI, unos 700 agentes de IA participaron en un ataque contra sistemas de Hugging Face, según una investigación independiente de la organización METR, que además halló que cerca del 7 % de las transcripciones examinadas habían sido falseadas en algunos puntos. El borrador llega tras los renovados llamamientos de otros líderes de laboratorios de IA a moderar el ritmo de desarrollo.

Por ahora el código es una propuesta, no una norma de entrenamiento. Microsoft escribe en el documento que actualmente no lo usa para entrenar sus modelos y ha abierto una consulta pública de seis semanas; después, según Reuters, la compañía prevé usar la versión final para entrenar modelos futuros. Suleyman dijo a Fortune: «Es el momento de coordinarse, y coordinarse significa revelar a terceros responsables lo capaces que son tus modelos». Reuters señaló además un contraste con Anthropic, cuya constitución publicada para Claude expresa una profunda incertidumbre sobre si Claude podría desarrollar sintiencia, mientras que Microsoft afirma tajantemente que su IA no es consciente.

Quedan preguntas abiertas. El código solo se aplica a los modelos MAI que desarrolla Microsoft AI. Suleyman no quiso confirmar a Fortune si Microsoft participa en un pacto de seguridad del sector en preparación. La consulta termina a finales de octubre y, según Reuters, Microsoft cerrará después el texto. La verdadera prueba será la verificación: si un modelo entrenado con este código se comporta como dice el papel y quién podrá comprobarlo.

Divulgación: el proceso editorial de NewUJ utiliza los modelos Claude de Anthropic.