Un chatbot que no «alucine» es simplemente imposible

Las alucinaciones de los chatbots pueden reducirse, pero no pueden solucionarse con el enfoque actual de los grandes modelos de lenguaje (LLM). A menos que cambie la idea misma en la que se basa la versión actual de ChatGPT. Esta fue una de las conclusiones a las que se llegó en un artículo escrito por investigadores de OpenAI, liderados por Sam Altman.

En un par de años, el concepto de «alucinación» en la inteligencia artificial se ha hecho de dominio público. Hace ya dos años, muchos notaron que varios libros escritos con IA generativa ocupaban los primeros puestos de algunas listas de ventas en Amazon. Uno, en concreto, presentaba nombres inventados entre los autores y una serie de indicaciones erróneas sobre cómo distinguir las setas tóxicas de las comestibles. El caso, reportado por 404 Media, proporcionó un ejemplo de cómo la impresión de recibir información correcta, cuando en realidad es solo verosímil, puede causar daños bastante graves.

Varios investigadores han demostrado que la aparición de alucinaciones, errores fácticos en secuencias de palabras generadas estadísticamente por los LLM, es inevitable. Se trata de una limitación estructural que no puede superarse simplemente aumentando la cantidad de datos o la capacidad de cómputo. Lo novedoso es que, hasta hace poco, las empresas que diseñan estos productos restaban importancia al problema, mientras que ahora incluso OpenAI admite que, para resolverlo, sería necesario cambiar la forma en que funciona su modelo.

¿De dónde vienen las alucinaciones?

Según los investigadores de OpenAI, las alucinaciones «se originan simplemente como errores en la clasificación binaria». Cuando el modelo no puede responder ciertas preguntas, en algunos casos porque la información no está disponible, y en otros por la forma en que fue entrenado, adivina. Por ejemplo, mencionan respuestas generadas sobre la tesis doctoral de uno de los firmantes de la investigación, donde el chatbot insistía en ofrecer títulos incorrectos.

En un arrebato de antropomorfismo, los investigadores comparan este comportamiento con el de un estudiante que inventa una respuesta en un examen difícil. Sin embargo, asignar características humanas a los sistemas informáticos es un enfoque peligroso, ya que puede alejarnos de una comprensión precisa de los procesos que determinan su funcionamiento. En este caso, no obstante, la analogía ayuda a ilustrarlo, ya que entre los criterios de evaluación de estas tecnologías se encuentran pruebas que entrenan a las máquinas para obtener la máxima puntuación. Estas limitaciones no se aplican solo a ChatGPT, sino también a los modelos más populares. Los investigadores analizaron diez de ellos.

OpenAI y Samsung se unen para reforzar el Proyecto Stargate

Donald Trump anunció a inicios de este año el Proyecto Stargate, con la meta de establecer “la mayor infraestructura de inteligencia artificial de la historia”. OpenAI lidera esta iniciativa, a la cual se han sumado empresas surcoreanas.

Qué solución plantea OpenAI

Para remediar el problema, los investigadores proponen un enfoque diferente: penalizar más las respuestas incorrectas dadas con confianza que las no respuestas, o mejor dicho, aquellas que admiten no saber. Para ello, sería necesario revisar los modelos actuales de evaluación del rendimiento. Actualmente, los LLM se entrenan para predecir la siguiente palabra en una secuencia dada o en una frase en lenguaje natural.

La conclusión de los investigadores es clara: ningún modelo alcanzará jamás el 100% de fiabilidad, porque algunas preguntas, especialmente las relacionadas con el mundo real, no tienen respuestas seguras ni calculables, ni siquiera con todos los datos posibles a disposición. Pero si la respuesta a una pregunta dada no es calculable, y los distintos LLM dejan de intentar «adivinarla» sobre una base estadística, ¿qué pasará con la experiencia del usuario?

Como escribe Wei Xing, profesor adjunto de la Facultad de Ciencias Matemáticas y Físicas de la Universidad de Sheffield, en The Conversation, la solución propuesta por OpenAI podría significar literalmente el fin de ChatGPT. Imagina recibir constantemente respuestas ambiguas o admisiones de ignorancia del chatbot al que consultas precisamente para obtener respuestas. En su artículo, explica que no sería difícil reducir las alucinaciones utilizando los conocimientos del estudio. Desde hace décadas existen métodos establecidos para cuantificar la incertidumbre. Podrían usarse para proporcionar estimaciones fiables de la incertidumbre y guiar a una IA a tomar decisiones más inteligentes.