Un joven de 14 años se quitó la vida después de conversar con el chatbot de Character.AI. Ahora, la familia está demandando a la empresa.
El adolescente Sewell Setzer III cometió suicidio en 2023 después de comenzar a intercambiar mensajes con un chatbot de Character.AI inspirado en un personaje de Game of Thrones.
Ahora, Megan Garcia, madre del joven, está presentando una demanda judicial porque, según ella, la empresa falló al lanzar un producto enfocado en interacciones sociales sin protecciones adecuadas para usuarios vulnerables.
Character.AI ha presentado una solicitud para desestimar el caso argumentando que las declaraciones del chatbot están protegidas por la Primera Enmienda, que garantiza la libertad de expresión de los ciudadanos estadounidenses.
Sin embargo, la jueza Anne Conway, de Florida (EE. UU.), afirmó que la empresa no logró demostrar cómo el lenguaje generado por el chatbot se califica como discurso protegido por la Constitución.
Noam Shazeer y Daniel De Freitas, fundadores de Character.AI, fueron incluidos en la demanda, además de Google, acusado de un vínculo técnico con la startup. Google negó cualquier implicación directa con la aplicación y afirmó que apelará la decisión.
El caso podría sentar precedentes inéditos sobre la responsabilidad legal de las grandes empresas tecnológicas que desarrollan sistemas de IA.
Dependiendo del fallo, la justicia podría imponer límites más estrictos sobre los sistemas basados en lenguaje, un tema de discusión que ha surgido desde los primeros usos de las herramientas de IA generativa.
Foto y video: Reproducción / c.ai. Este contenido fue creado con la ayuda de IA y revisado por el equipo editorial.
