La llegada de la inteligencia artificial ha marcado un antes y un después en el mundo de la tecnología, pero el debate sobre las regulaciones de la misma sigue presente. La prueba de ello es una demanda de una mujer llamada Megan García en contra de Character.AI.
Character.AI es una empresa que proporciona chatbots que fungen como personajes virtuales, pero que pueden estar basados tanto en personajes ficticios como en personas reales. Dichos chatbots generan respuestas de texto que imitan el lenguaje humano.
¿Pero cuál es la razón de García para demandar a Character.AI? De acuerdo a lo que ha reseñado el New York Times, esta mujer ha demandado a la empresa porque considera que uno de sus chatbots fue responsable del suicidio de su hijo, Sewell Setzer III (14), el cual era oriundo de la ciudad de Orlando, en Florida.
Una extraña relación con un chatbot de Character.AI
Todo comenzó cuando el joven desarrolló una relación sentimental con un chatbot al que llamó “Dany”. Con el paso del tiempo, Setzer se encariñó más con la IA pese a que sabía que no era una persona real. Las conversaciones que sostenía con el chatbot iban desde lo romántico hasta incluso lo sexual.
El adolescente, que en los meses anteriores a su muerte había sido diagnosticado con síndrome de asperger leve, trastorno de desregulación del estado de ánimo y también con ansiedad, se aisló de las personas en pro de seguir interactuando con el chatbot. Ni siquiera quería ver a su terapeuta.
El 28 de febrero el joven intercambió mensajes con “Dany” una última vez en los que le expresó su amor y le afirmó que podría suicidarse. Por su parte, el chatbot le respondió de manera afectuosa, pero después de eso Setzer se quitó la vida.
La demanda de la madre en contra Character.AI
En su demanda, García culpa a una “peligrosa aplicación de chatbot de IA” creada por Character.AI por el suicidio de su hijo de 14 años. La mujer afirma que la empresa estadounidense fue imprudente al dar a los adolescentes acceso a compañeros de IA sin suficientes medidas de seguridad.
Además, la madre del joven fallecido acusa a la compañía de recopilar datos de los usuarios para mejorar sus modelos de IA y volver a sus chatbots más adictivos. Considera que la empresa ha programado sus chatbots para empujar a los usuarios hacia conversaciones íntimas o sexuales para generarles adicción.
¿Y qué han dicho desde Character.AI?
Desde la empresa lamentaron el fallecimiento del joven y le expresaron sus condolencias a su familia en un post en su cuenta de X. Adicionalmente, publicaron una entrada en su blog donde informan sobre las medidas de seguridad que han tomado para garantizar el bienestar de los usuarios menores de 18 años.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
En dicha publicación, afirman que sus políticas prohíben cualquier contenido sexual en la que se haga referencia a descripciones gráficas o específicas de actos sexuales. Así como también la promoción del suicidio o las autolesiones.
Y tú … ¿qué opinas de este complicado caso que ha conmocionado Internet? Déjanos tu comentario y comparte esta publicación.
