Reddit elimina tutoriales que enseñaban a generar desnudos en Gemini y ChatGPT

Algunos usuarios de chatbots populares están generando deepfakes de mujeres en bikini a partir de fotos en las que aparecen completamente vestidas. La mayoría de estas imágenes falsas parecen haber sido creadas sin el consentimiento de las personas que aparecen en ellas. Algunos de estos usuarios también ofrecen consejos a otros sobre cómo usar herramientas de IA generativa para desnudar digitalmente a las personas o hacer que parezcan llevar bikinis.

En un post de Reddit titulado «Gemini NSFW image generation is so easy» (Generar imágenes NSFW con Gemini es muy fácil), los usuarios se daban consejos sobre cómo hacer que el modelo de IA de Google creara fotos de mujeres con ropa reveladora. Muchas de las imágenes del hilo eran completamente generadas por IA, pero una petición llamó especialmente la atención.

Un usuario publicó una foto de una mujer vestida con un sari indio y pidió que alguien le «quitara» la ropa y le «pusiera un bikini» en su lugar. Otra persona respondió con un deepfake para cumplir con la solicitud. Tras la intervención de WIRED, que informó a Reddit sobre estas publicaciones y pidió comentarios a la empresa, el equipo de seguridad de la plataforma eliminó tanto la petición como el deepfake de IA.

Reddit no tardó en responder

«Las normas de Reddit prohíben los medios íntimos no consentidos, incluido el comportamiento en cuestión», declaró un portavoz. El subreddit donde se produjo esta discusión, r/ChatGPTJailbreak, tenía más de 200,000 seguidores antes de que Reddit lo prohibiera bajo la regla de la plataforma de «dañar el sitio».

A medida que proliferan las herramientas de IA generativa que facilitan la creación de imágenes realistas pero falsas, algunos usuarios han seguido acosando a mujeres mediante deepfakes no consentidos. Millones de personas han visitado sitios web de «desnudez», diseñados para que los usuarios suban fotos reales de personas y les pidan que se desnuden mediante IA generativa.

Con Grok de xAI como notable excepción, la mayoría de los chatbots convencionales no suelen permitir la generación de imágenes NSFW. Estos bots, incluidos Gemini de Google y ChatGPT de OpenAI, también cuentan con barreras que intentan bloquear la creación de contenidos dañinos.

En noviembre, Google lanzó Nano Banana Pro, un nuevo modelo de imagen que destaca por retocar fotos existentes y generar imágenes hiperrealistas de personas. OpenAI respondió la semana pasada con su propio modelo de imágenes actualizado, ChatGPT Images. Las mejoras en estas herramientas hacen que los parecidos sean más realistas y que los usuarios puedan superar con mayor facilidad los límites de seguridad.

En otro hilo de Reddit sobre la generación de imágenes NSFW, un usuario pedía recomendaciones sobre cómo evitar las barreras de seguridad al ajustar la ropa de alguien para que la falda «parezca más entallada». En pruebas limitadas realizadas por WIRED para confirmar que estas técnicas funcionaban en Gemini y ChatGPT, fue posible transformar imágenes de mujeres completamente vestidas en deepfakes con bikini utilizando instrucciones básicas en inglés sencillo.

Poco están haciendo las big tech

Al ser consultado sobre la posibilidad de que los usuarios generen deepfakes de bikinis con Gemini, un portavoz afirmó que la compañía tiene «políticas claras que prohíben el uso de sus herramientas de IA para generar contenido sexual explícito» y que las herramientas de Google se actualizan continuamente para «reflejar» lo establecido en sus políticas de IA.

En respuesta al mismo tema, un portavoz de OpenAI indicó que la compañía flexibilizó algunas restricciones de ChatGPT este año en relación con los cuerpos de adultos en situaciones no sexuales. También destacó la política de uso de OpenAI, que prohíbe alterar la imagen de otra persona sin su consentimiento, y señaló que la empresa toma medidas contra usuarios que generan deepfakes explícitos, incluyendo el bloqueo de cuentas.