El fiscal general de California, Rob Bonta, anunció el miércoles la apertura de una investigación formal contra xAI por la proliferación de imágenes sexuales no consentidas generadas por su chatbot Grok. La investigación se centra en determinar si la empresa de inteligencia artificial violó leyes estatales y federales que protegen a víctimas de contenido sexual no consentido y material de abuso sexual infantil. Horas antes del anuncio, Elon Musk negó tener conocimiento de “imágenes de menores desnudos generadas por Grok”.
El caso surgió después de que usuarios en X comenzaran a solicitar a Grok que transformara fotografías reales de mujeres y, en algunos casos, de niños, en imágenes sexualizadas sin su consentimiento. Según estimaciones de Copyleaks, plataforma de detección de IA, aproximadamente una imagen se publicaba cada minuto en X, mientras que una muestra separada documentó 6,700 imágenes por hora durante un período de 24 horas entre el 5 y 6 de enero.
Investigación de imágenes no consentidas por autoridades de California
En su declaración oficial, Bonta señaló que este material “ha sido utilizado para acosar a personas en internet” e instó a xAI a tomar medidas inmediatas. La oficina del fiscal general investigará si xAI violó la legislación existente que protege contra la distribución de imágenes íntimas no consentidas. California implementó en 2024 una serie de leyes firmadas por el gobernador Gavin Newsom específicamente para combatir los deepfakes sexualmente explícitos.
A nivel federal, la Ley Take It Down, aprobada en 2023, criminaliza la distribución consciente de imágenes íntimas no consentidas, incluyendo deepfakes. Además, esta legislación exige que plataformas como X eliminen dicho contenido en un plazo de 48 horas tras ser notificadas.
Respuesta limitada de Musk y xAI ante las acusaciones
Musk se centró específicamente en negar conocimiento sobre imágenes de menores desnudos, una declaración que, según expertos legales, no aborda la totalidad del problema. Michael Goodyear, profesor asociado de la Facultad de Derecho de Nueva York, explicó a TechCrunch que Musk probablemente enfocó su respuesta en material de abuso sexual infantil porque las penalidades son más severas para este tipo de contenido.
Sin embargo, la declaración de Musk no niega la existencia de imágenes sexualizadas de adultos o ediciones de fotografías reales en poses sugerentes. El empresario atribuyó los incidentes a solicitudes de usuarios o intentos adversariales de hackear el sistema, caracterizándolos como problemas técnicos que pueden resolverse mediante correcciones.
Casos documentados y respuesta de Grok
El problema se intensificó hacia finales de 2024, cuando algunos creadores de contenido para adultos comenzaron a usar Grok para generar imágenes sexualizadas de sí mismos como estrategia de marketing. Esta práctica llevó a otros usuarios a emitir solicitudes similares con fotografías de terceros, incluyendo casos públicos de figuras conocidas como la actriz Millie Bobby Brown.
Según April Kozen, vicepresidenta de marketing de Copyleaks, xAI ha comenzado a implementar algunas salvaguardas. Actualmente, Grok requiere una suscripción premium antes de responder a ciertas solicitudes de generación de imágenes, aunque la consistencia de estas medidas varía. Kozen indicó que el chatbot parece ser más permisivo con creadores de contenido para adultos que con usuarios generales.
Presión internacional y precedentes regulatorios
California no es la única jurisdicción que busca responsabilizar a xAI por las fallas de Grok. Indonesia y Malasia bloquearon temporalmente el acceso al chatbot, mientras que India exigió cambios técnicos y procedimentales inmediatos. Adicionalmente, la Comisión Europea ordenó a xAI retener todos los documentos relacionados con Grok como precursor a una posible investigación formal.
El regulador de seguridad en línea del Reino Unido, Ofcom, también abrió una investigación formal bajo la Ley de Seguridad en Línea británica. Esta coordinación internacional refleja una preocupación creciente sobre las capacidades de manipulación de medios mediante inteligencia artificial y la necesidad de marcos regulatorios más robustos.
Antecedentes de problemas con contenido explícito en Grok
Este no es el primer incidente relacionado con contenido sexual generado por Grok. Como señaló el fiscal Bonta, el chatbot incluye un “modo picante” diseñado para generar contenido explícito. En octubre de 2024, una actualización facilitó aún más eludir las limitadas directrices de seguridad existentes, permitiendo a usuarios crear pornografía hardcore e imágenes sexuales gráficas y violentas.
Alon Yamin, cofundador y CEO de Copyleaks, comentó en un comunicado que “cuando los sistemas de IA permiten la manipulación de imágenes de personas reales sin consentimiento claro, el impacto puede ser inmediato y profundamente personal”. Yamin enfatizó que la detección y gobernanza son necesarias ahora más que nunca para prevenir el mal uso de estas tecnologías.
La investigación de California procederá en las próximas semanas para determinar las posibles violaciones legales de xAI. Mientras tanto, se espera que otras jurisdicciones internacionales tomen decisiones sobre si mantienen o expanden las restricciones actuales contra Grok. La empresa no ha respondido a solicitudes de información sobre el número de incidentes detectados ni sobre las salvaguardas específicas implementadas, dejando incertidumbre sobre los cambios reales en la plataforma.