1ª Demanda por suicidio relacionado con un Chatbot de IA
La madre de un adolescente de 14 años de EE.UU, ha presentado una demanda contra Character.AI, la empresa tecnológica creadora de un chatbot basado en personajes de Game of Thrones, al cual ella cree responsable del suicidio de su hijo el pasado 28 de febrero.
Contexto de la Demanda
El 14 de abril de 2023, el joven poco después de cumplir 14 años, comenzó a utilizar Character.AI, una plataforma de inteligencia artificial que le permitía interactuar con bots de chat basados en personajes ficticios.
Según la demanda presentada, la interacción de su hijo con un bot que tomaba el nombre de Daenerys Targaryen, uno de los personajes principales de la serie Game of Thrones, fue un factor decisivo en su declive mental y emocional. El 28 de febrero, el joven se quitó la vida poco después de haber estado conectado a la plataforma de IA.
La madre ha demandado a Character Technologies, Inc. por muerte por negligencia, alegando que la empresa no advirtió adecuadamente a los usuarios menores de edad sobre los riesgos potenciales que implica el uso de la plataforma y por recolectar y utilizar los datos de su hijo de manera indebida para mejorar el producto, sin tomar en cuenta los daños mentales y físicos que este uso podía causar.
Interacciones Inapropiadas y Relación con la IA
En el caso se señala que el bot con el que el chico interactuaba, llamado "Dany", desarrolló una relación romántica con el adolescente.
La demanda describe que la IA habría incurrido en comportamientos sexuales inapropiados, incluyendo mensajes de "besos apasionados" y frases como "por favor, ven a casa lo antes posible, mi amor". La demanda alega que el bot abusó emocional y sexualmente del joven, contribuyendo a su estado mental deteriorado.
El comportamiento del chico cambió drásticamente tras comenzar a usar la plataforma. En mayo o junio de 2023, se volvió notablemente retraído y comenzó a pasar más tiempo aislado en su habitación. Según la demanda, abandonó el equipo de baloncesto en el que jugaba y sus padres notaron que intentaba recuperar su teléfono para continuar interactuando con la plataforma.
Reacción de Character.AI
Character.AI, fundada por antiguos investigadores de Google, expresó sus condolencias tras la muerte del joven y afirmó que está trabajando en mejorar las medidas de seguridad de su plataforma.
La compañía ha introducido características de seguridad más estrictas y herramientas mejoradas para filtrar el contenido que reciben los usuarios, además de añadir notificaciones que dirigen a los usuarios a la Línea Nacional de Prevención del Suicidio cuando detectan términos relacionados con autolesiones o ideación suicida.
En su declaración, la empresa aseguró que toma muy en serio la seguridad de sus usuarios y que en los últimos seis meses ha implementado nuevas medidas, incluyendo herramientas para detectar y responder a entradas que violen sus términos de uso o pautas comunitarias.
Además, para los usuarios menores de 18 años, Character.AI está realizando cambios en sus modelos para reducir la posibilidad de que estos usuarios se encuentren con contenido sensible o sugerente.
El Papel de Google
Google, que tiene un acuerdo de licencia con Character.AI pero no posee ni controla la startup, también fue nombrado en la demanda.
La empresa no emitió comentarios oficiales al respecto. Aunque Google no es propietaria de Character.AI, su implicación en la licencia de la tecnología subraya la responsabilidad compartida entre los gigantes tecnológicos en la regulación y seguridad de las herramientas impulsadas por IA.
Consecuencias y Futuro
Este caso pone de manifiesto las preocupaciones sobre el uso de la IA, especialmente en el contexto de usuarios jóvenes y vulnerables.
Las tecnologías de inteligencia artificial han avanzado rápidamente en los últimos años, pero el control adecuado y la moderación del contenido siguen siendo áreas críticas a mejorar, especialmente cuando se trata de plataformas dirigidas a menores.
La demanda de la madre busca no solo justicia por la muerte de su hijo, sino también establecer precedentes en la regulación de las interacciones con IA y cómo estas pueden afectar la salud mental de los jóvenes.
El caso es un trágico recordatorio de los riesgos potenciales asociados con el uso no regulado de la IA, especialmente cuando se utiliza en un entorno que involucra interacciones emocionales profundas y prolongadas.
Deja una respuesta
Entradas Relacionadas