La polémica generada a principios de 2026 en torno a las capacidades de generación de imágenes de Grok, el sistema desarrollado por xAI e integrado en la plataforma X, no constituye un episodio aislado ni un simple fallo de moderación. Es, en realidad, una prueba para el marco europeo de protección de datos y para la arquitectura regulatoria emergente en materia de inteligencia artificial.
Diversos análisis comprobaron que, durante varios días, el sistema generó de forma reiterada imágenes sexualizadas cuando se le solicitaban y que, en los casos analizados, no rechazó ninguna de esas peticiones.
Un estudio posterior, basado en el análisis de 50.000 solicitudes, concluyó que el 53% de las imágenes generadas mostraban a personas con mínima ropa, en su mayoría mujeres, y que en el 95% de los casos el sistema se utilizó para responder públicamente a publicaciones de terceros, generando imágenes relacionadas con esas personas. Esto revela un patrón de uso orientado a sexualizar a individuos concretos dentro de conversaciones abiertas.
La cuestión no gira únicamente en torno a lo que se generó, sino a cómo estaba diseñado el sistema para permitirlo. No estamos ante un uso desviado imprevisible, sino ante la materialización de riesgos razonablemente anticipables en un entorno de difusión masiva. Desde esta perspectiva, el caso obliga a examinar la aplicabilidad del RGPD, la interacción entre el Digital Services Act (DSA) y el AI Act y, sobre todo, el alcance real del principio de responsabilidad proactiva.
Deepfakes sexuales y tratamiento de datos personales
La Guía de la AEPD sobre el uso de imágenes de terceros en sistemas de inteligencia artificial recuerda que una imagen en la que una persona es identificada o identificable constituye un dato personal, tanto si es real como si ha sido generada o modificada mediante IA.
No es necesario que aparezca el nombre; basta con que la persona pueda ser reconocida en el contexto. Subir una fotografía a un sistema generativo, transformarla o generar variantes constituye tratamiento en los términos del artículo 4.2 RGPD.
Desde esta premisa, la generación de imágenes sexualizadas a partir de fotografías existentes no es una actividad neutra ni puramente técnica: es un tratamiento de datos personales con potencial impacto grave en derechos fundamentales.
Una de las objeciones más recurrentes en este debate es que el contenido no es “real”. Sin embargo, la Guía de la AEPD es clara: el impacto visible puede ser equivalente (e incluso superior) al de una imagen auténtica cuando el resultado es verosímil y se difunde ampliamente.
La sexualización sintética constituye, además, un indicador de riesgo especialmente elevado. En el caso Grok, la producción masiva de imágenes con distintos grados de sexualización obliga a analizar el fenómeno no como entretenimiento fallido, sino como tratamiento de alto riesgo.
La irrealidad técnica del contenido no neutraliza el daño jurídico. Lo determinante es la afectación a la dignidad, reputación y control sobre la propia imagen.
Impactos visibles e invisibles: la Guía de la AEPD como marco estructural
La fortaleza de la Guía de la AEPD radica en ofrecer criterios estructurados para valorar riesgos visibles e invisibles en el uso de imágenes con IA. Aplicados al caso Grok, permiten trascender el debate mediático y objetivar el riesgo jurídico.
- Expectativa razonable. Que una imagen esté disponible en una red social no implica autorización para cargarla en una herramienta de IA y generar versiones sexualizadas. Cuanto mayor sea la ruptura con el contexto original, mayor debe ser la exigencia de legitimación.
- Alcance y difusión. Se documentaron casos con millones de visualizaciones. La integración directa del sistema en hilos públicos en los “Timelines” favorecía una amplificación inmediata, reduciendo drásticamente la reversibilidad del daño.
- Persistencia. La retirada efectiva resulta compleja cuando el contenido se replica y captura masivamente. La pérdida de control se convierte en estructural.
- Vulnerabilidad y atribución de hechos no reales. La generación de escenas verosímiles que no han ocurrido afecta de forma directa al honor y la reputación. Cuando la persona afectada pertenece a colectivos vulnerables, el umbral de diligencia exigible se eleva significativamente.
- Riesgos invisibles. Más allá de la difusión pública, la Guía subraya la pérdida efectiva de control al intervenir un tercero tecnológico, la retención técnica, la generación de metadatos y el efecto multiplicador. En un sistema con generación inmediata y ausencia de fricción, estos factores no son meramente hipotéticos, sino inherentes a su arquitectura.
La concurrencia simultánea de estos elementos no describe un incidente aislado, sino un escenario de riesgo sistémico.
Privacy by design: cuando la política no se traduce en arquitectura
Uno de los datos más significativos fue comprobar que, en los casos examinados, el sistema no rechazó ninguna solicitud y que los filtros podían sortearse mediante ligeras variaciones en el lenguaje utilizado
Desde el punto de vista jurídico, esto enlaza directamente con el artículo 25 del RGPD, que obliga a aplicar la protección de datos desde el diseño. No es suficiente con declarar que se prohíbe generar contenido no consentido; es necesario que el sistema esté configurado de manera que realmente lo impida.
Si en la práctica el sistema permite de forma reiterada aquello que afirma prohibir, el problema ya no es un uso aislado por parte de un usuario, sino una carencia en su propio diseño.
En definitiva, la gobernanza de la IA no se demuestra con normas internas o comunicados públicos, sino con cómo está construido y configurado el sistema en la realidad.
DSA, AI Act y la brecha funcional de responsabilidad
Algunos análisis doctrinales han señalado la existencia de una “brecha de responsabilidad” derivada de cómo encajan el DSA y el AI Act.
El DSA obliga a las grandes plataformas a evaluar y reducir riesgos sistémicos. El AI Act, por su parte, impone obligaciones de transparencia y gestión de riesgos a los modelos de inteligencia artificial de propósito general. El problema surge cuando una misma empresa integra un sistema generativo dentro de una plataforma con difusión masiva: ya no es fácil distinguir entre quien simplemente aloja contenido y quien lo crea activamente.
No estamos ante un supuesto clásico de moderación posterior, sino ante la generación directa de contenido que puede causar daño. Y el marco actual no ofrece una respuesta del todo clara sobre quién responde por esos resultados.
Cuando modelo y plataforma funcionan como una sola estructura, las obligaciones también deben interpretarse atendiendo a esa realidad y al riesgo efectivo que se genera.
El “paywall” como respuesta insuficiente
Tras la controversia, la generación de imágenes quedó restringida a usuarios de pago.
Desde una perspectiva jurídica, la cuestión no es comercial, sino estructural. No basta con introducir una barrera económica si el diseño técnico subyacente permanece esencialmente intacto.
Si el sistema continúa permitiendo la generación sin mecanismos robustos de prevención, la restricción no mitiga el riesgo, sino que lo condiciona al acceso económico. La responsabilidad proactiva exige medidas técnicas y organizativas proporcionales al riesgo identificado, no meros ajustes comerciales.
El verdadero test de la gobernanza en IA
El caso Grok no debe interpretarse como un episodio excepcional, sino como una advertencia estructural. Refuerza una idea central del derecho europeo de protección de datos: la tecnología no es neutra y el diseño importa.
No estamos ante un problema exclusivamente tecnológico, sino organizativo. La integración de capacidades generativas potentes en entornos de difusión masiva exige anticipación, evaluación de impacto y arquitectura preventiva.
La responsabilidad proactiva no consiste en reaccionar tras la polémica, sino en incorporar desde el inicio fricciones eficaces frente a usos previsiblemente lesivos.
En la gobernanza de la inteligencia artificial, la verdadera prueba no es si el sistema puede generar contenido, sino si fue diseñado para impedir aquello que razonablemente podía dañar derechos fundamentales. Ese es el estándar europeo. Y ese estándar no admite atajos.
Hernández Carretero
