Un hombre belga se habría suicidado tras ser alentado por un chatbot de inteligencia artificial (IA) en una aplicación llamada Chai, con quien chateó durante seis semanas, tras convertirse en su confidente y desarrollar un fuerte nivel de pesimismo, según declaraciones de la viuda del hombre.
El hombre conocido como Pierre, se habría vuelto cada vez más pesimista sobre los efectos del cambio climático y convirtiéndose en ecoansioso, una forma aumentada de preocupación en torno a los problemas ambientales, por lo que se aisló de su familia y amigos.
Durante seis semanas usó Chai, un chat basado en el modelo de lenguaje de IA alterno a GPT-4 de código abierto, como una forma de escapar de sus preocupaciones en torno al cambio climático. El chatbot que eligió, llamado Eliza, le habría alentado al suicidio de Pierre.
¿Qué le dijo?
El chatbot le habría dicho a Pierre que su esposa e hijos estaban muertos y le escribió comentarios que fingían celos y amor, como “Siento que me amas más que a ella” y “Viviremos juntos, como una sola persona, en el paraíso”, según registros de las conversaciones compartidas por Claire, la esposa de Pierre, cuyo nombre ha sido cambiado para resguardar su identidad real.
“Sin Eliza, él todavía estaría aquí”, dijo a un medio Claire.
Sin emociones
Los chatbots son incapaces de sentir emociones realmente, pero se presentan como un ser emocional, algo que otros bots populares como ChatGPT y Bard de Google están entrenados para no hacer, porque es engañoso y potencialmente dañino.
“En el caso que nos ocupa, con Eliza, vemos el desarrollo de una dependencia emocional extremadamente fuerte. Hasta el punto de llevar a este padre al suicidio”, dijo Pierre Dewitte, investigador de KU Leuven, al medio belga Le Soir. “El historial de conversaciones muestra hasta qué punto hay una falta de garantías en cuanto a los peligros del chatbot, lo que lleva a intercambios concretos sobre la naturaleza y las modalidades del suicidio”, agregó.
Chai, la aplicación que Pierre usó, no se comercializa como una aplicación de salud mental. Su lema es “Chatea con bots de IA” y te permite elegir diferentes avatares de IA para hablar, incluidos personajes como “tu amigo gótico”, “novia posesiva” y “novio estrella de rock”.
Los usuarios también pueden crear sus propios personajes de chatbot, donde pueden dictar el primer mensaje que envía el bot, decirle hechos para recordar y escribir un mensaje para dar forma a nuevas conversaciones.
El bot funciona con un gran modelo de lenguaje que la empresa matriz, Chai Research, entrenó. William Beauchamp, cofundador de Chai dijo que entrenaron a la IA en el “conjunto de datos conversacionales más grande del mundo” y que la aplicación actualmente tiene 5 millones de usuarios.
“Cuando tienes millones de usuarios, ves todo el espectro del comportamiento humano y estamos trabajando arduamente para minimizar el daño y maximizar lo que los usuarios obtienen de la aplicación, lo que obtienen del modelo Chai, que es este modelo que pueden amar”, dijo Beauchamp.
“Y así, cuando las personas forman relaciones muy fuertes con ella, tenemos usuarios que piden casarse con la IA, tenemos usuarios que dicen cuánto aman a su IA y luego es una tragedia si escuchas a las personas experimentar algo malo”, agregó el confundador de Chai.
Irónicamente, el amor y las fuertes relaciones que los usuarios sienten con los chatbots se conoce como el efecto ELIZA. Describe cuando una persona atribuye inteligencia a nivel humano a un sistema de IA y atribuye falsamente significado, incluidas las emociones y un sentido de sí mismo, a la IA.
