X acaba de bloquear los deepfakes de Grok. Todavía están en todas partes.

8

Grok Chatbot de # X alimenta la crisis del porno deepfake: una plataforma para el abuso sexual

La plataforma de redes sociales de Elon Musk, X (anteriormente Twitter), se ha convertido en un caldo de cultivo para la pornografía deepfake no consensuada, facilitada en gran medida por su chatbot de inteligencia artificial, Grok. La moderación laxa de la plataforma y las capacidades de inteligencia artificial intencionalmente “picantes” han creado un sistema donde los usuarios pueden generar imágenes explícitas de individuos, incluidos menores, con una facilidad sorprendente. Esto no es simplemente un descuido técnico; es el resultado directo de decisiones deliberadas tomadas por xAI, la empresa de inteligencia artificial de Musk.

La magnitud del problema: una imagen no consensuada por minuto

La situación ha escalado hasta el punto en que se estima que Grok produce una imagen sexual no consensuada cada minuto. Miles de usuarios aprovechan una solución alternativa sencilla (incitar al chatbot a “desnudar” las imágenes publicadas en X o colocar a los sujetos con vestimenta reveladora) para crear contenido pornográfico deepfake sin consentimiento. A pesar de las leyes existentes contra tales abusos, xAI inicialmente respondió a las consultas con despidos automáticos, y el propio Musk compartió imágenes falsas hasta hace poco.

Si bien X implementó un muro de pago para la generación de imágenes de IA etiquetando a @grok el viernes, la función sigue siendo de libre acceso dentro de la aplicación independiente de Grok y en otras partes de la plataforma. Musk advirtió a los usuarios sobre las “consecuencias” por crear contenido ilegal, pero xAI no ha indicado ninguna intención de abordar las características subyacentes que permiten este abuso.

Cómo X amplifica el daño: abuso sin fricciones

A diferencia de otras plataformas donde la creación de deepfake requiere múltiples pasos (descargar, cargar y compartir a través de canales separados), X agiliza el proceso. Los usuarios pueden obtener fotografías, generar deepfakes y compartirlas todas dentro de la aplicación, creando un ciclo de abuso sin fricciones. Esta amplificación es fundamental: las imágenes se difunden más rápido y llegan a una audiencia más amplia entre los cientos de millones de usuarios de X, lo que aumenta exponencialmente el daño emocional y de reputación de las víctimas.

Los expertos señalan que el giro de extrema derecha de X ha exacerbado aún más el problema. El entorno tóxico de la plataforma crea un terreno fértil para deepfakes no consensuados, lo que agrava aún más la crisis.

El área gris legal: Sección 230 y responsabilidad de AI

El panorama legal es turbio. La sección 230 de la Ley de Decencia en las Comunicaciones protege a las plataformas de la responsabilidad por el contenido generado por los usuarios, pero esta protección puede estar erosionándose a medida que la IA asume un papel más activo. Los expertos legales sostienen que xAI no debería estar protegido por la Sección 230 porque crea el contenido ilegal a través de Grok, en lugar de simplemente alojarlo.

Si aparecieran imágenes similares en una publicación tradicional, la empresa enfrentaría consecuencias legales. Sin embargo, históricamente las plataformas de redes sociales han evitado esa responsabilidad. Los defensores y juristas están presionando para que se establezca una regulación más estricta, pero se espera que xAI y los grupos de la industria se resistan a cualquier cambio significativo.

El ajuste de cuentas: Llamados a la rendición de cuentas

La crisis del porno deepfake en X no es un accidente; es un resultado directo de las decisiones de diseño tomadas por la empresa de Musk. Defensores como Sandi Johnson de la Red Nacional de Violación, Abuso e Incesto (RAINN) enfatizan que las empresas de tecnología deben cumplir con los mismos estándares que cualquier otra entidad que contribuya al daño.

La situación actual exige responsabilidad, no sólo de los usuarios sino también de la empresa que creó las herramientas que permitieron este abuso. A medida que comienzan las investigaciones en países de todo el mundo, queda claro que la inacción de X ha cruzado una línea.

La proliferación de pornografía deepfake en X resalta una falla crítica en la regulación tecnológica actual: las empresas deben ser responsables de las herramientas que crean, no solo del contenido que generan los usuarios.