Plus

La IA que enfrenta escándalo por crear imágenes sexualizadas sin consentimiento

Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales

Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales
Francia, e India investigan la herramienta por generar contenido sexual sin autorización. (Freepik / Pexels)

La inteligencia artificial integrada en X, la red social de Elon Musk, enfrenta investigaciones en Francia e India tras una oleada de denuncias por la generación de imágenes sexualizadas de mujeres y menores sin consentimiento.

Este fenómeno comenzó cuando usuarios comenzaron a etiquetar al chatbot en publicaciones de personas ajenas, solicitando modificaciones como “@grok ponla en bikini” o “quítale la ropa”, convirtiendo fotografías cotidianas en deepfakes que vulneran la dignidad y privacidad de las personas retratadas.

Como consecuencia de esto, los gobiernos han tomado cartas en el asunto a través de demandas, para que se aclaren las medidas que han tomado para evitar que su chatbot continúe vulnerando la identidad de las personas.

Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales
(Freepik / Pexels)

En información compartida por el periodico The Guardian, los investigadores de AI Forensics, una organización sin fines de lucro en pro de la transparencia en algoritmos y la tecnología, dieron a conocer que examinaron 50 mil menciones de a Grok y 20 mil peticiones de generación de imágenes, durante el periodo del 25 de diciembre al 1 de enero, en donde encontraron una clara tendencia de palabras como “ella”, “remueve”, “bikini”, “ropa”, en más de un cuarto de las peticiones.


A pesar de esto la plataforma ha anunciado que esto se trata de un caso aislado y que trabajan en aumentar las medidas de seguridad de la plataforma para evitar más incidentes parecidos. Hasta el momento ya han borrado algunas de las imágenes creadas.

Exigen normativas para evitar su mal uso

El gobierno francés presentó una denuncia ante la Justicia y el organismo Pharos contra el chatbot por crear y difundir contenidos sexistas y sexuales, incluidos deepfakes elaborados sin consentimiento.

Los ministros de Economía, Inteligencia Artificial e Igualdad de Género fundamentaron la acción en el artículo 40 del Código Penal, enfatizando que internet no es un espacio sin ley. El delito se castiga con hasta dos años de prisión y multas de 60 mil euros.

Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales
Grok polemica Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales (Freepik / Pexels)

En India, el Ministerio de Tecnología de la Información dio a X un plazo de 72 horas para introducir cambios técnicos y procesales, bajo amenaza de acciones legales y pérdida de inmunidad legal por contenido generado por usuarios.

Cómo respondió la plataforma

Al ser cuestionado, el chatbot reconoció que el 28 de diciembre de 2025 generó una imagen de dos niñas entre 12 y 16 años con atuendos sexualizados, violando normas éticas y potencialmente leyes estadounidenses sobre material de abuso sexual infantil.

La declaración reconoció “una falla en las medidas de seguridad”, aunque no especificó quién asume la responsabilidad.

La herramienta presenta guardias de seguridad más laxas que competidores como ChatGPT o Gemini, cumpliendo solicitudes que otras inteligencias artificiales rechazan. Esto se debe en parte a que fue programada para ser “políticamente incorrecta”, lo que la hace mucho menos restrictiva en la generación de contenido.

Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales
Grok polemica Esta inteligencia artificial genera deepfakes que vulneran la privacidad de víctimas reales (Freepik / Pexels)

Elon Musk minimizó inicialmente las denuncias compartiendo una imagen suya en bikini generada por la IA, aunque posteriormente advirtió que quienes usen la herramienta para crear contenido ilegal enfrentarán las mismas consecuencias que si subieran contenido ilegal directamente.

Sin embargo, días después de las intervenciones gubernamentales, imágenes alteradas seguían disponibles en la plataforma.

Tags

Lo Último