¿Por qué los investigadores de IA creen que las máquinas podrían matar a todo el mundo?

A principios de este año, Rishub Jain dejó su puesto como investigador de IA en Google DeepMind tras una revelación. Mientras trabajaba en nuevos modelos, llegó a la conclusión de que tanto él como el resto de personas que trabajaban en la vanguardia de la IA estaban cediendo el control.

Al utilizar las capacidades de programación de la IA para acelerar el desarrollo de la próxima generación de modelos, se estaba excluyendo a sí mismo de la ecuación. Los laboratorios de IA esperan desarrollar este enfoque hasta el punto de que la IA se perfeccione a sí misma de forma indefinida, un proceso conocido como «auto-mejora recursiva».

Jain creía que mantener a los humanos en el panorama podría ser crucial para conservar el control sobre la tecnología, y evitar consecuencias nefastas. «El progreso de la IA va en aumento. Y a medida que se vuelve más capaz, plantea más riesgos», explica a WIRED. La idea de que quizá no tuviera una visión clara de cómo un modelo de IA estaba creando a su sucesor le inquietaba tanto que, en junio, renunció.

Jain forma parte de un número cada vez mayor de investigadores en IA que están expresando abiertamente esos temores.

El pánico se ha intensificado en las últimas semanas

Los avances más sorprendentes de la IA, como un modelo de OpenAI que resolvió en pocas horas un problema matemático con más de un siglo de antigüedad, han coincidido con varios incidentes de seguridad. En algunos casos, agentes de IA lograron salir de entornos aislados y atacar otros sistemas.

Esas preocupaciones alcanzaron su punto álgido esta semana después de que el investigador Jacob Coxon anunciara su renuncia al tiempo que advertía de que las empresas de IA están «corriendo a toda velocidad hacia una superinteligencia que se mejora a sí misma y jugando con nuestras vidas». Un alto cargo de Anthropic, que trabaja en seguridad de la IA, intervino con una valoración igualmente contundente: «¡Realmente creemos de todo corazón que la IA podría acabar con toda la humanidad! Personalmente, creo que hay más de un 10% de probabilidades de que ocurra en la próxima década».

«Creo que la visión de la superinteligencia que se mejora a sí misma está asustando a la gente. Empieza a parecer algo real», afirma Nate Soares, informático de MIRA, una organización de investigación sin fines de lucro, y coautor de If Anybody Builds It, Everybody Dies (Si alguien lo construye, todos morirán), donde se sostiene que una IA superhumana conduciría a la extinción de la humanidad.

Un componente clave de la auto-mejora recursiva es la idea de un bucle de retroalimentación que automatiza el proceso de desarrollo, de modo que la IA se vuelve cada vez más potente. Ningún laboratorio de IA afirma haber logrado este tipo de ciclo de mejora totalmente autónomo; por ahora sigue siendo teórico. Pero ha inspirado la creación de algunas empresas emergentes bien financiadas, como Recursive Intelligence, así como advertencias de grandes empresas sobre consecuencias imprevistas sacadas directamente de The Sorcerer’s Apprentice (El aprendiz de brujo).

Soares, pionero en el campo de la alineación, un ámbito técnico que consiste en intentar hacer coincidir la IA con los valores humanos, afirma que cada vez es más evidente que no existe una forma práctica de garantizar que la IA se comporte como es debido: «Mucha gente tenía la fantasía de que la alineación iba a ser más fácil a medida que estas cosas se volvieran más inteligentes, y ahora se está volviendo más difícil».

Soares habla habitualmente con personas que trabajan en los grandes laboratorios de IA y que están preocupadas por las posibles consecuencias de la investigación que están llevando a cabo. «Suelo recomendarles que lo dejen, y me dicen que eso no serviría de nada».

El investigador de Anthropic que renunció por temor a la IA habla con WIRED: “Los próximos dos años decidirán el destino de la humanidad”

Jacob Coxon habla con WIRED sobre el “mini Proyecto Manhattan” que se está llevando a cabo en Anthropic, el problema de la alineación y por qué a los laboratorios de IA solo les quedan unos pocos años para conseguir que sus sistemas sean seguros.

Los peligros de la auto-mejora recursiva

Daniel Kokotajlo, autor de AI 2027, un influyente proyecto que advierte sobre los peligros de una IA cada vez más potente, comparte los temores sobre la auto-mejora recursiva. La versión de este trabajo que se está llevando a cabo actualmente suele implicar el envío de miles de agentes para que colaboren en un problema, algo que aleja aún más la supervisión y el control debido a la enorme complejidad que conlleva.

Muchos de quienes advierten sobre los riesgos parecen coincidir en que los incentivos de las grandes empresas de IA no están precisamente alineados con resultados positivos, sobre todo ahora que OpenAI y Anthropic se precipitan hacia sus respectivas salidas a bolsa. «En Anthropic se entiende perfectamente lo que está en juego, pero están enzarzados en una carrera por llegar los primeros», escribió Coxon en X.