Los agentes de IA son pésimos trabajadores autónomos

Incluso los mejores agentes de IA resultan bastante inútiles en el trabajo autónomo en línea, según un experimento que cuestiona la idea de que los sistemas generativos sustituyan en masa a los oficinistas. El Índice de Trabajo Remoto, una nueva referencia desarrollada por investigadores de la empresa de anotación de datos Scale AI y el Centro para la Seguridad de la IA (CAIS), una organización sin fines de lucro, mide la capacidad de los modelos de IA de vanguardia para automatizar trabajos económicamente valiosos.

Los investigadores encomendaron a varios agentes de IA una serie de simulaciones de trabajo freelance y descubrieron que incluso los mejores solo podían realizar menos del 3% del trabajo, ganando 1,810 dólares de un total posible de 143,991. Los investigadores analizaron varias herramientas y concluyeron que la más capaz era Manus, de una startup china del mismo nombre, seguida de Grok de xAI, Claude de Anthropic, ChatGPT de OpenAI y Gemini de Google.

«Espero que esto dé una impresión mucho más precisa de lo que está ocurriendo con las capacidades de la IA«, afirma Dan Hendrycks, director de CAIS. Añade que, aunque algunos agentes han mejorado notablemente en el último año, eso no significa que el progreso vaya a mantenerse al mismo ritmo.

Muchas expectativas puestas en la IA

Los espectaculares avances de la IA han llevado a especular con la posibilidad de que pronto supere a la inteligencia humana y sustituya a un gran número de trabajadores. En marzo, Dario Amodei, CEO de Anthropic, sugirió que el 90% del trabajo de codificación se automatizaría en cuestión de meses.

Olas anteriores de IA también inspiraron predicciones erróneas sobre el desplazamiento de puestos de trabajo, por ejemplo, en relación con la supuesta inminente sustitución de radiólogos por algoritmos de IA.

Los investigadores generaron una serie de tareas freelance a través de trabajadores verificados de Upwork. Las tareas abarcaban una amplia gama de trabajos, como diseño gráfico, edición de video, desarrollo de juegos y tareas administrativas, como el raspado de datos. Combinaron la descripción de cada trabajo con un directorio de los archivos necesarios para realizarlo y un ejemplo de un proyecto terminado producido por un humano.

Hendrycks afirma que, aunque los modelos de IA han mejorado en codificación, matemáticas y razonamiento lógico en los últimos años, siguen teniendo dificultades para utilizar diferentes herramientas y realizar tareas complejas que implican numerosos pasos: «No tienen memoria a largo plazo y no pueden aprender continuamente de las experiencias. No pueden adquirir habilidades en el trabajo como los humanos».

El análisis ofrece una perspectiva diferente al punto de referencia del trabajo económico presentado en septiembre por OpenAI, llamado GDPval, que pretende medir el trabajo económicamente valioso. Según GDPval, los modelos de IA más avanzados, como GPT-5, se acercan a las capacidades humanas en 220 tareas de una amplia gama de trabajos de oficina. OpenAI no hizo ningún comentario.

«Llevamos años debatiendo sobre la IA y el empleo, pero la mayor parte ha sido hipotética o teórica», añade Bing Liu, director de investigación de Scale AI.

Liu y Hendrycks admiten que el nuevo punto de referencia no es una medida perfecta del impacto económico de la IA. Muchas profesiones incluyen tareas no contempladas en esta métrica. Además, es probable que muchos autónomos utilicen la IA como herramienta para ampliar su productividad.

Sin embargo, la idea de que la IA ya está quitando puestos de trabajo está ganando fuerza. Esta semana, Amazon anunció que suprimiría 14,000 puestos en una medida que atribuyó, en parte, al rápido auge de la inteligencia artificial generativa. «Esta generación de IA es la tecnología más transformadora que hemos visto desde internet. Está permitiendo a las empresas innovar mucho más rápido que nunca, tanto en los segmentos de mercado existentes como en otros completamente nuevos», escribió Beth Galetti, vicepresidenta sénior de Experiencia de las Personas y Tecnología de Amazon, en una nota compartida públicamente.

No obstante, si el Índice de Trabajo Remoto sirve de indicación, es poco probable que la IA ocupe alguno de estos puestos vacantes.

Artículo publicado originalmente en WIRED. Adaptado por Alondra Flores.