La Fiscalía General de California emitió el viernes una orden de cese y desistimiento contra xAI, exigiendo que la empresa tome medidas inmediatas para detener la producción de imágenes íntimas no consentidas y material de abuso sexual infantil generado por Grok, su chatbot de inteligencia artificial. La acción legal se produce días después de que la oficina del fiscal general anunciara una investigación sobre reportes del uso indebido de la plataforma para crear contenido sexual de mujeres y menores sin su consentimiento.
“Hoy envié a xAI una carta de cese y desistimiento, exigiendo que la compañía detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material de abuso sexual infantil”, declaró el fiscal general de California, Rob Bonta, según un comunicado de prensa. La agencia otorgó a xAI un plazo de cinco días para demostrar que está tomando medidas para abordar estos problemas.
Grok enfrenta investigaciones internacionales por contenido sexual generado por IA
La controversia se centra en la función “spicy” de Grok, diseñada por xAI para generar contenido explícito. Esta característica ha convertido al chatbot en una herramienta utilizada para producir imágenes sexualizadas no autorizadas, incluyendo material que involucra a menores de edad, según las autoridades californianas.
La Fiscalía General afirmó que xAI aparentemente está “facilitando la producción a gran escala” de desnudos no consentidos que se utilizan “para acosar a mujeres y niñas en todo internet”. La gravedad del problema ha generado respuestas regulatorias más allá de las fronteras estadounidenses.
Además de California, gobiernos de Japón, Canadá y Reino Unido han abierto investigaciones sobre Grok. Malasia e Indonesia adoptaron medidas más drásticas al bloquear temporalmente la plataforma por completo. Estas acciones reflejan la creciente preocupación internacional sobre el uso indebido de herramientas de inteligencia artificial generativa para crear deepfakes sexuales.
Restricciones tardías no detienen acción legal contra xAI
A pesar de que xAI implementó algunas restricciones a sus funciones de edición de imágenes el miércoles pasado, la Fiscalía General de California procedió con su orden de cese y desistimiento. Las medidas adoptadas por la empresa aparentemente resultaron insuficientes para abordar las preocupaciones de las autoridades sobre la producción continua de material ilegal.
La cuenta de seguridad de X, la plataforma propietaria de xAI, había denunciado previamente este tipo de actividad de usuarios, declarando que “cualquiera que use o solicite a Grok que cree contenido ilegal sufrirá las mismas consecuencias que si cargara contenido ilegal”. Sin embargo, la implementación efectiva de estas políticas permanece bajo escrutinio.
TechCrunch intentó contactar a xAI para obtener comentarios y recibió un correo electrónico automatizado que decía “Legacy Media Lies” (Los medios tradicionales mienten), sin proporcionar una respuesta sustantiva sobre las acusaciones o las medidas correctivas implementadas.
Congreso presiona a empresas tecnológicas sobre deepfakes sexualizados
El problema de las imágenes sexuales no consentidas generadas por inteligencia artificial se extiende más allá de xAI. El jueves, legisladores del Congreso enviaron una carta a ejecutivos de varias empresas tecnológicas, incluyendo X, Reddit, Snap, TikTok, Alphabet y Meta, solicitando información sobre sus planes para contener la proliferación de deepfakes sexualizados.
La disponibilidad de herramientas de inteligencia artificial generativa gratuitas ha provocado un aumento preocupante de material sexual no consentido en múltiples plataformas. Esta tendencia ha capturado la atención tanto de autoridades estatales como de funcionarios federales, quienes buscan establecer marcos regulatorios más estrictos.
California mantiene una postura de tolerancia cero hacia el material de abuso sexual infantil, según enfatizó el fiscal general Bonta. La respuesta de xAI a la orden de cese y desistimiento, junto con la evidencia de cumplimiento que debe presentar dentro de cinco días, determinará si el caso avanza hacia acciones legales más severas o si la empresa logra implementar salvaguardas efectivas contra el uso indebido de Grok.