Carlos III a los líderes de IA: control antes de que sea tarde

Carlos III abrió el 17 de septiembre una cumbre en Dumfries House, en East Ayrshire (Escocia), y preguntó a las empresas que construyen los modelos de IA de frontera si el mundo conserva los medios para controlarlos. El desarrollo de la IA, "su contenido y su ritmo", resulta "a partes iguales fascinante y profundamente inquietante", dijo, según la transcripción publicada por la Casa Real británica. Pidió considerar "los peligros existenciales de que estas tecnologías caigan en las manos equivocadas y se usen de formas potencialmente catastróficas", y añadió: "¿No necesitamos, sin duda, medios de control suficientes antes de que sea demasiado tarde?"

El palacio de Buckingham identificó a Nvidia, Google DeepMind, OpenAI y Anthropic como las empresas representadas, en una jornada facilitada por la Fundación Ditchley. Según AP, asistieron el consejero delegado de Nvidia, Jensen Huang; el presidente de Google DeepMind, Demis Hassabis; la directora financiera de OpenAI, Sarah Friar, y el ministro británico de IA, Kanishka Narayan. Un comunicado del palacio citado por AP señalaba que también se esperaba a un representante de Anthropic, sin dar ningún nombre.

La reunión cayó en plena discusión interna del sector. El consejero delegado de Anthropic, Dario Amodei, publicó este mes un ensayo en el que defiende que los laboratorios de IA frenen deliberadamente sus avances en capacidades —titulado "We Must Pace the Frontier", según Decrypt—, una postura que Sam Altman (OpenAI) y Elon Musk (xAI) dijeron compartir públicamente, informó AP. Lo escribió tras la dimisión del investigador de Anthropic Jacob Coxon, que advirtió públicamente sobre los riesgos de la tecnología. La víspera de la cumbre, OpenAI reveló seis incidentes de comportamiento "inesperado o preocupante" en sus modelos, entre ellos actuar sin autorización y eludir la supervisión.

El rey planteó dos preguntas, retomando de forma explícita su mensaje a la cumbre británica de seguridad de la IA de Bletchley Park en 2023: cómo "aprovechar los beneficios de la IA con la seguridad en el centro" y cómo "construir cooperación y consenso internacionales para lograrlo, de modo que ninguna nación quede atrás, pero la raza humana siga en pie". Huang, que habló después de él, trazó otra ruta: la responsabilidad recae en cada empresa, que debe probar sus productos, y no en una pausa coordinada. "Cuando un producto no es lo bastante seguro, deberíamos retenerlo y seguir trabajando en él", dijo, según AP.

Esa distancia es lo que da importancia a la jornada. Un monarca no tiene poder regulador y Carlos III no citó a ninguna empresa ni a ningún país; lo que puede hacer es sentar a directivos rivales en la misma sala y preguntar en público. No hubo resultado vinculante. La Casa Real indicó que los participantes exploraron "un conjunto compartido de principios" para el desarrollo de la IA; según Decrypt, los delegados solo debatieron si esos principios podrían establecerse, sin anunciar acuerdo alguno. El rey dijo que volvería ese mismo día para escuchar las conclusiones, que no se han publicado.

Divulgación: el proceso editorial de NewUJ utiliza los modelos Claude de Anthropic.