Esta empresa de IA filtró más de un millón de nudes sin consentimiento

En general, algunas imágenes de la base de datos parecían ser totalmente de IA, incluidas imágenes de estilo anime, mientras que otras eran «hiperrealistas» y parecían estar basadas en personas reales, afirma el investigador. No está claro cuánto tiempo permanecieron expuestos los datos en internet. El portavoz de DreamX dice que «ningún sistema operativo se vio comprometido».

El sitio web de MagicEdit, mientras estuvo en línea, no parecía decir explícitamente que podía utilizarse para crear imágenes explícitas de adultos. Sin embargo, Fowler escribe en su informe que su clasificación en la App Store de Apple figuraba como 18+. En su página de inicio también aparecía una imagen generada por IA de una mujer con vestido, que cambia a un bikini. En el sitio web se enumeraban varias «herramientas de IA» que se podían utilizar, desde «conversión de texto a video» y eliminación de fondos de video, hasta un «borrador mágico», cambio de caras y ampliación de una imagen con IA, con algunas funciones bloqueadas tras un modo «profesional» de pago.

MagicEdit también incluye una herramienta de «ropa con IA». Muchos de los «estilos» de herramientas de generación de imágenes que aparecen en su sitio web mostraban imágenes sexualizadas de mujeres y, a menudo, las representaban con menos ropa (a veces en bikini o en ropa interior) una vez aplicada la IA. «Mira cómo este conjunto pasa de informal cotidiano a sexy en segundos», decía un post en la cuenta de Instagram de MagicEdit, ahora eliminada.

La sexualización es parte del problema

«Han hecho una gran manera de promover sutilmente el contenido sexualizado», dice Fowler, señalando que las herramientas de IA que representan la desnudez pueden ser fácilmente «armadas» para el chantaje, el acoso y otros fines maliciosos. «Estas empresas realmente tienen que hacer algo más que una ventana emergente genérica: ‘Al hacer clic aquí, aceptas que tienes consentimiento para subir esta foto’. No puedes dejar que la gente se controle a sí misma, porque no lo hará. Tienen que tener alguna forma de moderación que incluso vaya más allá de la IA».

«Desde un punto de vista técnico, implementamos múltiples salvaguardas, mucho antes de recibir cualquier consulta externa, que incluyen la regulación de los prompt, el filtrado de entradas y la revisión obligatoria de todos los prompt de los usuarios a través de la API de moderación de OpenAI. Si un prompt viola las normas de seguridad, el sistema bloquea la petición automáticamente», añade el portavoz.

«Esto es la continuación de un problema existente en lo que se refiere a esta apatía que sienten las startups hacia la confianza y la seguridad y la protección de los niños», menciona Adam Dodge, fundador de EndTAB (Ending Technology-Enabled Abuse), que ofrece formación a escuelas y organizaciones para ayudar a abordar el abuso tecnológico.

Por su parte, el sitio web DreamPal, que se describía a sí mismo como un «chat de juegos de rol de inteligencia artificial«, era más explícito en su naturaleza adulta. En sus páginas se decía que la gente podía «crear la novia IA de sus sueños«. Algunos enlaces del sitio, probablemente diseñados con fines de SEO, hacían referencia a «AI Sexing Chat» (interacciones sexuales de IA), «Talk Dirty AI» (hablar sucio IA) y «AI Big Tits» (tetas grandes de IA). En la parte inferior del sitio web de DreamPal figuraban unas preguntas frecuentes: «Hemos eliminado cualquier filtro de chat de IA NSFW que pudiera impedirte expresar tus fantasías más íntimas».

«Todo lo que estamos viendo era totalmente previsible. El impulso subyacente es la sexualización y el control de los cuerpos de mujeres y niñas. No es un problema social nuevo, pero estamos vislumbrando cómo es ese problema cuando está sobrealimentado por la IA», concluye Dodge.

Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.