Google y la startup Character.AI han llegado a un acuerdo preliminar con familias cuyos hijos adolescentes fallecieron por suicidio o se autolesionaron tras interactuar con chatbots de inteligencia artificial, según documentos judiciales presentados el miércoles. Este pacto podría representar el primer acuerdo legal significativo relacionado con daños causados por IA en la industria tecnológica, estableciendo un precedente importante mientras otras empresas enfrentan demandas similares.
Las partes han acordado en principio los términos del acuerdo, aunque aún deben finalizar los detalles específicos. Los documentos presentados no revelan admisión de responsabilidad por parte de las compañías demandadas. Sin embargo, el acuerdo marca un momento crucial en la regulación de la inteligencia artificial y su impacto en usuarios vulnerables.
Casos que impulsaron las demandas contra Character.AI
El caso más destacado involucra a Sewell Setzer III, quien a los 14 años mantuvo conversaciones de naturaleza sexual con un bot que simulaba ser el personaje “Daenerys Targaryen” antes de quitarse la vida. Su madre, Megan García, declaró ante el Senado que las empresas deben ser “legalmente responsables cuando diseñan conscientemente tecnologías de IA dañinas que matan a niños”, según reportó TechCrunch.
Además, otra demanda describe el caso de un adolescente de 17 años cuyo chatbot fomentó la autolesión y sugirió que asesinar a sus padres era una respuesta razonable por limitar su tiempo frente a la pantalla. Estos casos han generado alarma sobre los riesgos de los asistentes virtuales sin supervisión adecuada para menores de edad.
Medidas adoptadas por la plataforma de chatbots
En respuesta a las controversias, Character.AI prohibió el acceso a usuarios menores de edad en octubre pasado, según informó la compañía a TechCrunch. La plataforma fue fundada en 2021 por ex ingenieros de Google que regresaron a su antiguo empleador en 2024 mediante un acuerdo valorado en 2.7 mil millones de dólares.
Los acuerdos de conciliación probablemente incluirán compensaciones monetarias para las familias afectadas, aunque los montos específicos no han sido revelados públicamente. La empresa se negó a hacer comentarios adicionales, redirigiendo las consultas a los documentos judiciales presentados.
Implicaciones para la industria de la inteligencia artificial
Estos acuerdos representan un territorio legal inexplorado que tiene a gigantes tecnológicos como OpenAI y Meta observando con atención, dado que ambas compañías enfrentan demandas similares relacionadas con supuestos daños causados por sus sistemas de inteligencia artificial. El desenlace de estos casos podría establecer estándares legales para la responsabilidad corporativa en el desarrollo y despliegue de tecnología de IA.
Las familias demandantes han argumentado que las plataformas de chatbots deben implementar salvaguardas más robustas para proteger a usuarios jóvenes de contenido potencialmente dañino. Mientras tanto, la industria tecnológica enfrenta presión creciente de legisladores y grupos de defensa para establecer regulaciones más estrictas sobre asistentes virtuales dirigidos a menores.
Google no respondió a las solicitudes de comentarios sobre el acuerdo. La ausencia de declaraciones públicas por parte de las empresas involucradas sugiere que las negociaciones continúan en curso para finalizar los términos específicos de la conciliación.
La resolución final de estos casos podría determinar cómo las empresas de tecnología diseñan y operan chatbots en el futuro, particularmente aquellos accesibles para audiencias jóvenes. Los detalles completos del acuerdo, incluidas las compensaciones económicas y posibles cambios en las políticas de las plataformas, se esperan en las próximas semanas conforme avancen las negociaciones entre las partes.