Los gigantes de la IA se reúnen con una misión urgente: lograr que los chatbots de compañía sean seguros

El lunes, en Stanford, durante ocho horas, representantes de Anthropic, Apple, Google, OpenAI, Meta y Microsoft se reunieron en un taller a puerta cerrada para debatir el uso de chatbots como acompañantes o en escenarios de juegos de rol. Las interacciones con herramientas de IA son a menudo mundanas, pero también pueden tener consecuencias nefastas. A veces, los usuarios sufren colapsos mentales durante largas conversaciones con los chatbots o les confían sus ideas suicidas.

«Tenemos que tener grandes conversaciones en toda la sociedad sobre el papel que queremos que la IA desempeñe en nuestro futuro como seres humanos que interactúan entre sí», advierte Ryn Linthicum, responsable de la política de bienestar del usuario en Anthropic. En el acto, organizado por Anthropic y Stanford, la gente del sector se mezcló con académicos y otros expertos, y se dividieron en pequeños grupos para hablar de las nuevas investigaciones sobre IA y de las pautas de implantación de los chatbots de compañía.

Anthropic afirma que menos del 1% de las interacciones de su chatbot Claude son juegos de rol iniciados por los usuarios; no es para eso para lo que se diseñó la herramienta. Aun así, los chatbots y los usuarios a los que les encanta interactuar con ellos como acompañantes son una cuestión complicada para los creadores de IA, que a menudo adoptan enfoques dispares en materia de seguridad.

Y si algo he aprendido de la época de los Tamagotchi es que los seres humanos establecen fácilmente vínculos con la tecnología. Incluso si alguna burbuja de IA estalla de forma inminente y la máquina de la publicidad sigue adelante, mucha gente seguirá buscando el tipo de conversaciones amistosas y aduladoras sobre IA a las que se han acostumbrado en los últimos años.

Pasos proactivos

«Uno de los objetivos más motivadores de este taller era reunir a gente de distintos sectores y campos», afirma Linthicum.

Algunas de las primeras conclusiones que se extrajeron de la reunión fueron la necesidad de realizar intervenciones más específicas dentro de los bots cuando se detectan patrones dañinos y métodos más sólidos de verificación de la edad para proteger a los niños.

«En nuestras conversaciones no solo pensamos en si esto es bueno o malo, sino en cómo podemos hacer un diseño más pro-social e incorporar incentivos», expresa Linthicum.

Parte de ese trabajo ya ha comenzado. A principios de este año, OpenAI añadió ventanas emergentes a veces durante largas conversaciones de chatbot que animan a los usuarios a tomar un descanso. En las redes sociales, su director ejecutivo, Sam Altman, comentó que la startup había «sido capaz de mitigar los graves problemas de salud mental» relacionados con el uso de ChatGPT y que retiraría las restricciones más estrictas.

En Stanford, decenas de asistentes participaron en largas charlas sobre los riesgos y los beneficios de los bots. «Al final, estamos muy de acuerdo», indica Sunny Liu, directora de programas de investigación de Stanford. Destacó el entusiasmo del grupo por «las formas en que podemos utilizar estas herramientas para unir a otras personas.»

Seguridad de los adolescentes

Cómo pueden afectar a los jóvenes los compañeros de IA fue uno de los principales temas de debate, con las perspectivas de los empleados de Character.AI, que está diseñado para juegos de rol y ha sido popular entre los adolescentes, así como de expertos en salud online de los adolescentes, como el Digital Wellness Lab del Boston Children’s Hospital.

La atención a los usuarios más jóvenes se produce en un momento en que varios padres han demandado a fabricantes de chatbots, entre ellos OpenAI y Character.AI, por la muerte de niños que habían interactuado con bots. OpenAI ha añadido una serie de nuevas funciones de seguridad para adolescentes como parte de su respuesta. Y la semana que viene, Character.AI planea prohibir a los usuarios menores de 18 años el acceso a la función de chat.