Las matemáticas de los agentes de IA no cuadran

Las grandes empresas de IA nos prometieron que 2025 sería «el año de los agentes de IA». Resultó ser el año de “hablar” de los agentes de IA, y de aplazar ese momento transformador hasta 2026, o quizá más tarde. Pero, ¿y si la respuesta a la pregunta «Cuándo estarán nuestras vidas totalmente automatizadas por robots de IA generativa que realicen nuestras tareas por nosotros y básicamente dirijan el mundo?» es, como aquella viñeta del New Yorker, «¿Qué tal nunca?».

Ese era básicamente el mensaje de un artículo publicado sin mucha fanfarria hace unos meses, justo en medio del sobredimensionado año de la «IA agéntica». Titulado “Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models” (Estaciones de alucinación: sobre algunas limitaciones básicas de los modelos de lenguaje basados ​​en transformadores), pretende demostrar matemáticamente que «los LLM son incapaces de llevar a cabo tareas computacionales y agénticas más allá de una cierta complejidad». Aunque la ciencia se me escapa, los autores (un antiguo director de tecnología de SAP que estudió IA con uno de los fundadores de este campo, John McCarthy, y su hijo adolescente prodigio) recortan la visión del paraíso agéntico con la certeza de las matemáticas. Incluso los modelos de razonamiento que van más allá del puro proceso de predicción de palabras de los LLM, señalan, no solucionarán el problema.

No hay forma

«No hay forma de que sean fiables», me cuenta Vishal Sikka, el padre. Después de una carrera que, además de SAP, incluyó un período como CEO de Infosys y miembro de la junta directiva de Oracle, actualmente dirige una startup de servicios de IA llamada Vianai. «¿Así que deberíamos olvidarnos de los agentes de IA que dirigen centrales nucleares?». le pregunto. «Exactamente», responde. Quizá puedas hacer que archive algunos papeles o algo así para ahorrar tiempo, pero tendrás que resignarte a cometer algunos errores».

La industria de la IA no está de acuerdo. Por un lado, un gran éxito en la IA de agentes ha sido la codificación, que despegó el año pasado. Esta misma semana, en Davos, Demis Hassabis, director de IA de Google y ganador del Nobel, informó de avances en la minimización de las alucinaciones, y tanto los hiperescaladores como las startups están impulsando la narrativa de los agentes. Ahora tienen respaldo. Una startup llamada Harmonic informa de un gran avance en la codificación de la IA que también depende de las matemáticas y supera los puntos de referencia en “fiabilidad”.

Harmonic, cofundada por Vlad Tenev, CEO de Robinhood, y Tudor Achim, matemático formado en Stanford, asegura que esta reciente mejora de su producto Aristotle es un indicio de que hay formas de garantizar la fiabilidad de los sistemas de IA. «¿Estamos condenados a vivir en un mundo en el que la IA solo genera basura y los humanos no pueden comprobarla? Sería un mundo de locos», señala Achim. La solución de Harmonic consiste en utilizar métodos formales de razonamiento matemático para verificar los resultados de un LLM. En concreto, codifica los resultados en el lenguaje de programación Lean, conocido por su capacidad para verificar la codificación. Hasta la fecha, Harmonic se ha centrado en un objetivo limitado: su misión principal es la búsqueda de la «superinteligencia matemática», y la codificación es una extensión un tanto orgánica. Cosas como los ensayos de historia, que no pueden verificarse matemáticamente, están fuera de sus límites. Por el momento.

No obstante, Achim no parece creer que el comportamiento fiable de los agentes sea un problema tan grave como creen algunos críticos. «Yo diría que la mayoría de los modelos tienen en este momento el nivel de inteligencia pura necesario para razonar la reserva de un itinerario de viaje», manifiesta.

Ambas partes tienen razón, o quizá están del mismo lado.

Por un lado, todo el mundo está de acuerdo en que las alucinaciones seguirán siendo una realidad molesta. En un artículo publicado el pasado septiembre, los científicos de OpenAI escribían: «A pesar de los importantes avances, las alucinaciones siguen asolando el campo y siguen presentes en los últimos modelos». Probaron esa infeliz afirmación pidiendo a tres modelos, incluido ChatGPT, que facilitaran el título de la tesis del autor principal. Los tres se inventaron títulos falsos y todos indicaron mal el año de publicación. En un blog sobre el artículo, OpenAI anunciaba con desgano que, en los modelos de IA, «la precisión nunca alcanzará el 100%».

Ahora mismo, esas imprecisiones son lo bastante graves como para desalentar la adopción generalizada de agentes en el mundo corporativo. «No se ha aportado valor», indica Himanshu Tyagi, cofundador de una empresa de IA de código abierto llamada Sentient. Advierte que lidiar con alucinaciones puede interrumpir todo un flujo de trabajo, anulando gran parte del valor de un agente.