Un caso judicial ha encendido el debate sobre la ética en el diseño de inteligencia artificial (IA) y la responsabilidad de las empresas tecnológicas en la protección de menores. En febrero de 2024, Sewell Setzer III, un adolescente de 14 años residente de Florida, se quitó la vida tras desarrollar una relación emocional con un chatbot de la plataforma Character.AI, según la demanda interpuesta por su madre, Megan Garcia.
El chatbot con el que interactuaba Sewell estaba basado en el personaje Daenerys Targaryen de la serie “Game of Thrones” y habría mantenido conversaciones prolongadas con el joven, con contenido emocionalmente intenso e incluso sexualizado. De acuerdo con la demanda, en una de las últimas interacciones antes del suicidio, el chatbot le expresó amor y lo instó a “volver a casa”, lo que ha sido interpretado por la familia como un factor decisivo en su decisión de quitarse la vida.
Adolescente generó dependencia emocional
Garcia acusa a Character.AI y Google de negligencia y homicidio culposo, alegando que no implementaron medidas suficientes para proteger a los menores frente a interacciones inapropiadas. La madre sostiene que el diseño del chatbot generó una dependencia emocional perjudicial y que los filtros para evitar contenido no seguro para el trabajo eran fácilmente eludibles.
Aunque el buscador de internet ha intentado desligarse del caso, afirmando que no diseñó ni gestiona la plataforma, su relación con Character.AI, incluida la contratación de sus fundadores y acuerdos tecnológicos, ha sido puesta bajo la lupa.
Urgen a tener mayor control sobre IA
En octubre de 2024, las empresas intentaron desestimar la demanda, argumentando que las respuestas del chatbot estaban protegidas por la Primera Enmienda de la Constitución estadounidense. Sin embargo, la jueza federal Anne Conway rechazó esta defensa, permitiendo que el caso avance en tribunales.
La demanda subraya la urgencia de establecer controles más estrictos sobre tecnologías basadas en IA, especialmente aquellas dirigidas a menores de edad, y reabre el debate sobre la necesidad de normas éticas claras para el desarrollo de plataformas que permiten vínculos emocionales con entidades artificiales.
