Una filtración revela para qué usan las personas realmente los generadores de imágenes IA

Decenas de miles de imágenes explícitas generadas por IA, incluido material de abuso sexual infantil generado por IA, se dejaron abiertas y accesibles a cualquiera en internet, según una nueva investigación vista por WIRED. Una base de datos abierta perteneciente a una empresa de generación de imágenes mediante inteligencia artificial contenía más de 95,000 registros, incluidos algunos datos puntuales e imágenes de celebridades como Ariana Grande, las Kardashian y Beyoncé desajustadas para que parecieran niñas.

La base de datos expuesta, descubierta por el investigador de seguridad Jeremiah Fowler, que compartió los detalles de la filtración con WIRED, está vinculada al sitio web GenNomis, con sede en Corea del Sur. El sitio web y su empresa matriz, AI-Nomis, albergaban una serie de herramientas de generación de imágenes y chatbot para los usuarios. Más de 45 GB de datos, en su mayoría imágenes de inteligencia artificial, quedaron al descubierto.

Los datos expuestos permiten vislumbrar cómo las herramientas de generación de imágenes de IA pueden convertirse en armas para crear contenido sexual profundamente dañino y probablemente no consentido de adultos y material de abuso sexual infantil (CSAM, por sus siglas en inglés). En los últimos años, decenas de sitios web, bots y aplicaciones de deepfake y desnudos han proliferado y han provocado que miles de mujeres y niñas hayan sido objeto de imágenes y videos perjudiciales. Esto ha venido acompañado de un aumento en el CSAM generado por IA.

Peligroso y aterrador

«Lo más importante es lo peligroso que es esto», advierte Fowler sobre la exposición de datos. «Como investigador de seguridad o como padre, es aterrador. Y es aterrador lo fácil que es crear ese contenido».

Fowler descubrió la caché abierta de archivos (la base de datos no estaba protegida por contraseña ni encriptada) a principios de marzo e informó rápidamente a GenNomis y AI-Nomis, señalando que contenía AI CSAM. GenNomis cerró rápidamente la base de datos, afirma Fowler, pero no respondió ni se puso en contacto con él acerca de los hallazgos.

Ni GenNomis ni AI-Nomis respondieron a las múltiples peticiones de comentarios de WIRED. Sin embargo, horas después de que WIRED se pusiera en contacto con las organizaciones, los sitios web de ambas empresas aparecieron cerrados, y el sitio web de GenNomis devuelve ahora una página de error 404.

Clare McGlynn, profesora de Derecho de la Universidad de Durham, en el Reino Unido, especializada en abusos en línea y basados en imágenes, afirma: «Este ejemplo también muestra, una vez más, hasta qué punto es preocupante que exista un mercado de IA que permita generar imágenes tan abusivas». «Esto debería recordarnos que la creación, posesión y distribución de CSAM no es rara, y atribuible a individuos retorcidos».

Antes de ser eliminada, GenNomis ofrecía en su página web varias herramientas de inteligencia artificial. Entre ellas se incluía un generador de imágenes que permitía a los usuarios introducir indicaciones de imágenes que querían crear, o subir una imagen e incluir una indicación para modificarla. También había una herramienta de intercambio de caras, un eliminador de fondos y una opción para convertir videos en imágenes.