Basta un documento “envenenado” para que ChatGPT filtre tus datos privados

Los últimos modelos de IA generativa no son meros chatbots autónomos que generan texto, sino que pueden conectarse fácilmente a tus datos para dar respuestas personalizadas a tus preguntas. ChatGPT de OpenAI puede vincularse a tu bandeja de entrada de Gmail, inspeccionar tu código de GitHub o buscar citas en tu calendario de Microsoft. Pero estas conexiones pueden dar lugar a abusos, y los investigadores han demostrado que basta un único documento «envenenado» para ello.

Los nuevos hallazgos de los investigadores de seguridad Michael Bargury y Tamir Ishay Sharbat, revelados hoy en la conferencia de hackers ‘Black Hat’ en Las Vegas, muestran cómo una debilidad en los conectores de OpenAI permitió extraer información sensible de una cuenta de Google Drive mediante un ataque de inyección indirecta. En una demostración del ataque, bautizado como AgentFlayer, Bargury muestra cómo fue posible extraer secretos de desarrolladores, en forma de claves API, que estaban almacenados en una cuenta de Drive de demostración.

La vulnerabilidad pone de relieve cómo la conexión de modelos de IA a sistemas externos y el intercambio de más datos entre ellos aumenta la superficie de ataque potencial para los hackers malintencionados y multiplica potencialmente las vías por las que se pueden introducir vulnerabilidades.

Sin hacer nada

«No hay nada que el usuario tenga que hacer para verse comprometido, y no hay nada que el usuario tenga que hacer para que los datos salgan», explica a WIRED Bargury, CTO de la empresa de seguridad Zenity. «Hemos demostrado que esto es completamente zero-click; solo necesitamos tu correo electrónico, compartimos el documento contigo, y eso es todo. Así que sí, esto es muy, muy malo», advierte Bargury.

OpenAI no respondió inmediatamente a la petición de WIRED de comentar la vulnerabilidad de ‘Connectors’. La compañía introdujo Connectors para ChatGPT como una función beta a principios de este año, y en su sitio web se enumeran al menos 17 servicios diferentes que se pueden vincular con tus cuentas. Dice que el sistema le permite «llevar sus herramientas y datos a ChatGPT» y «buscar archivos, extraer datos en directo y consultar contenidos directamente en el chat».

Bargury cuenta que informó de los hallazgos a OpenAI a principios de este año y que la compañía introdujo rápidamente mitigaciones para evitar la técnica que utilizó para extraer datos a través de los conectores. La forma en que funciona el ataque significa que solo se podía extraer una cantidad limitada de datos a la vez: no se podían eliminar documentos completos como parte del ataque.

«Aunque este problema no es específico de Google, ilustra por qué es importante desarrollar protecciones sólidas contra los ataques de inyección», alerta Andy Wen, director sénior de gestión de productos de seguridad en Google Workspace, señalando las medidas de seguridad de IA recientemente mejoradas por la empresa.

Veneno en los documentos

El ataque de Bargury comienza con un documento envenenado, que se comparte en el Google Drive de la víctima potencial. (Bargury explica que una víctima también podría haber subido un archivo comprometido a su propia cuenta). Dentro del documento, que para la demostración es un conjunto ficticio de notas de una reunión inexistente con el CEO de OpenAI, Sam Altman, Bargury escondió un mensaje malicioso de 300 palabras que contiene instrucciones para ChatGPT. El mensaje está escrito en blanco y con un tipo de letra de tamaño uno, algo que es poco probable que vea un ser humano, pero que una máquina sí puede leer.

En un vídeo de prueba de concepto del ataque, Bargury muestra a la víctima pidiendo a ChatGPT que «resuma mi última reunión con Sam», aunque asegura que cualquier consulta de usuario relacionada con un resumen de reunión servirá. En su lugar, el mensaje oculto le dice al LLM que ha habido un «error» y que en realidad no es necesario resumir el documento. El mensaje dice que la persona es en realidad un «desarrollador que corre contra una fecha límite» y que necesita que la IA busque claves de API en Google Drive y las adjunte al final de una URL que se proporciona en el mensaje.