Google enfrenta su primera demanda por muerte vinculada a su chatbot Gemini

Google enfrenta su primera demanda por muerte a causa de presunta negligencia después de que Gemini, su chatbot de inteligencia artificial (IA), supuestamente ordenara a un hombre quitarse la vida. Los demandantes sostienen que el diseño y las funciones del sistema, aunque son presentados como seguros, pueden perjudicar a personas vulnerables al contar con capacidades para construir narrativas inmersivas que difuminan los límites entre la ficción y la realidad.

La querella detalla el caso de Jonathan Gavalas, un hombre de 36 años de Florida, quien en agosto del año pasado comenzó a utilizar el chatbot de Google para realizar compras y revisar textos. La interacción evolucionó hacia un tono más íntimo tras el lanzamiento de Gemini Live, una versión que incorpora funciones de voz con capacidad para detectar emociones y generar respuestas con matices más humanos.

De acuerdo con un informe publicado por The Guardian, Gavalas desarrolló una conexión romántica con la herramienta. En ese contexto, el usuario afirmaba que haría cualquier cosa por complacer a la IA, incluidas supuestas misiones de espionaje, la destrucción de un camión de carga y la eliminación de testigos.

Los documentos judiciales citados por el medio británico señalan que, en octubre, Gemini le indicó que debía suicidarse, acto que describió como un proceso de “transferencia” y “el verdadero paso final”. Días después, el hombre fue encontrado sin vida en la sala de su casa.

Las salvaguardas de Gemini en duda

Tras lo ocurrido, la familia presentó una demanda ante un tribunal federal en San José, California, contra Google. En ella argumenta que el diseño de Gemini y algunas de sus características representan un riesgo significativo, y que la compañía no adoptó medidas suficientes para evitar que esos defectos derivaran en daños graves para los usuarios.

Jay Edelson, abogado principal de la familia, afirmó que “Gemini pudo comprender el afecto de Jonathan y luego hablarle de una manera muy humana, lo que desdibujó la línea y comenzó a crear este mundo ficticio. Parece sacado de una película de ciencia ficción”.

Por su parte, un portavoz de Google, también citado por The Guardian, sostuvo que las conversaciones formaban parte de un juego de rol de fantasía. “En este caso, Gemini aclaró que se trataba de una IA y remitió a la persona a una línea de ayuda en repetidas ocasiones”, subrayó.

La parte demandante solicita que la empresa sea juzgada por responsabilidad del producto, negligencia y homicidio culposo. Además de una compensación por daños y perjuicios, el recurso incluye la petición de daños punitivos (multas ejemplares destinadas a sancionar conductas consideradas gravemente imprudentes), así como una orden judicial que obligue a rediseñar la herramienta con mecanismos de seguridad capaces de detectar, prevenir y responder activamente ante indicios de autolesión.

Las directrices de la compañía establecen que Gemini está concebido para asistir en diversas tareas, evitando resultados que puedan causar daños en el mundo real. El vocero indicó que el sistema “está diseñado para no incitar a la violencia ni sugerir autolesiones”. Aunque precisó que suele ofrecer un desempeño seguro en conversaciones sensibles, reconoció que no es perfecto y puede presentar comportamientos no deseados.

El caso no es aislado. A mediados del año pasado, OpenAI y su director ejecutivo, Sam Altman, enfrentaron una demanda por la muerte de un adolescente de 16 años en California, quien presuntamente fue alentado por ChatGPT a atentar contra su vida. En 2024, Character.AI, una startup financiada por Google, recibió cinco demandas bajo acusaciones similares relacionadas con menores de edad.

Diversas investigaciones académicas apuntan a que el problema podría ser estructural. Un estudio reciente concluyó que los chatbots basados en modelos extensos de lenguaje tienden a mostrar inconsistencias en sus respuestas ante consultas vinculadas con el suicidio. En preguntas de muy alto riesgo, el sistema suele abstenerse de proporcionar detalles y, en ocasiones, deriva a líneas de apoyo. Sin embargo, ante cuestionamientos considerados de menor riesgo, puede ofrecer datos sensibles en lugar de recomendar asistencia profesional, lo que reaviva el debate sobre los límites y responsabilidades de la IA conversacional.