Scandale ! Le Conseil de surveillance de Meta enquête sur les images explicites générées par une IA publiées sur Instagram et Facebook

El Consejo de Supervisión de Meta investiga la gestión de las imágenes generadas por IA en sus plataformas sociales

El Consejo de Supervisión, órgano político semiindependiente de Meta, está estudiando cómo gestionan las plataformas sociales de la empresa las imágenes explícitas generadas por IA. El martes, anunció la investigación de dos casos distintos sobre cómo Instagram en la India y Facebook en Estados Unidos gestionaron las imágenes generadas por IA de personajes públicos, después de que los sistemas de Meta no detectaran ni respondieran a los contenidos explícitos.

En ambos casos, los sitios han retirado ya los soportes. El Consejo no nombra a las personas objeto de las imágenes generadas por IA "para evitar el acoso por razón de sexo", según un correo electrónico enviado por Meta a Toukiela.

El Consejo revisa los casos relacionados con las decisiones de moderación de Meta. Los usuarios deben apelar primero a Meta en relación con una decisión de moderación antes de apelar al Consejo de Supervisión. La Junta debe publicar sus conclusiones completas en el futuro.

Los casos

Describiendo el primer caso, el Consejo dijo que un usuario había marcado como pornográfica una imagen desnuda generada por IA de una figura pública india en Instagram. La imagen había sido publicada por una cuenta que publica exclusivamente imágenes generadas por IA de mujeres indias, y la mayoría de los usuarios que reaccionan a estas imágenes residen en la India.

Meta no eliminó la imagen tras la primera denuncia, y el ticket de la denuncia se cerró automáticamente a las 48 horas, ya que la empresa no siguió investigando la denuncia. Cuando el denunciante original recurrió la decisión, el informe volvió a cerrarse automáticamente sin ninguna supervisión por parte de Meta. En otras palabras, tras dos denuncias, la imagen explícita generada por la IA permaneció en Instagram.

Finalmente, el usuario recurrió al Consejo de Supervisión. Solo entonces actuó la empresa para retirar el contenido objetado y eliminar la imagen por infringir sus normas comunitarias sobre intimidación y acoso.

El segundo caso afectó a Facebook, donde un usuario publicó una imagen explícita generada por IA que se parecía a una figura pública estadounidense en un grupo centrado en creaciones de IA. En este caso, la red social eliminó la imagen porque había sido publicada previamente por otro usuario, y Meta la había añadido a un banco de coincidencias de medios bajo la categoría "photoshop o dibujos sexualizados y despectivos".

Cuando Toukiela preguntó por qué el Consejo había elegido un caso en el que la empresa había eliminado con éxito una imagen explícita generada por IA, el Consejo dijo que había seleccionado casos "que son emblemáticos de temas más amplios en las plataformas de Meta". Añadió que estos casos permitían al Consejo Asesor examinar la eficacia global de la política y los procesos de Meta en relación con distintos temas.

"Sabemos que Meta es más rápido y eficaz a la hora de moderar contenidos en algunos mercados e idiomas que en otros. Tomando un caso de Estados Unidos y otro de la India, queremos examinar si Meta protege de forma justa a todas las mujeres del mundo", ha declarado en un comunicado la copresidenta del Consejo de Supervisión, Helle Thorning-Schmidt.

"El Consejo cree que es importante examinar si las políticas y prácticas de aplicación de Meta son eficaces para resolver este problema", añadió Thorning-Schmidt.

El problema de la pornografía deepfake y la violencia de género en Internet

Algunas -no todas- las herramientas de IA generativa de los últimos años se han ampliado para permitir a los usuarios generar contenidos pornográficos. Como ya informó Toukiela, grupos como Unstable Diffusion buscan monetizar la pornografía basada en IA con turbias líneas éticas y sesgos en los datos.

En regiones como la India, los deepfakes son también un problema preocupante. El año pasado, un informe de la BBC señalaba que el número de vídeos deepfake de actrices indias se había disparado en los últimos tiempos. Los datos sugieren que las mujeres son con más frecuencia objeto de deepfakes.

A principios de este año, el Viceministro de Tecnologías de la Información, Rajeev Chandrasekhar, expresó su descontento con el enfoque de las empresas tecnológicas a la hora de abordar las falsificaciones profundas.

"Si una plataforma cree que puede salirse con la suya al no eliminar vídeos deepfake, o simplemente adopta un enfoque descuidado, tenemos el poder de proteger a nuestros ciudadanos bloqueando dichas plataformas", dijo Chandrasekhar en una conferencia de prensa en ese momento.

Aunque la India está estudiando la posibilidad de introducir en su legislación normas específicas sobre las falsificaciones profundas, todavía no hay nada escrito en piedra.

Aunque el país cuenta con disposiciones legales para denunciar la violencia de género en línea, los expertos señalan que el proceso puede ser tedioso y a menudo hay poco apoyo. En un estudio publicado el año pasado, el grupo de defensa indio IT for Change subrayó que los tribunales de India deben contar con procesos sólidos para tratar la violencia de género en línea y no trivializar estos casos.

Aparajita Bharti, cofundadora de The Quantum Hub, una consultora de políticas públicas con sede en la India, dijo que debería haber límites a los modelos de IA para evitar que creen contenidos explícitos que causen daño.

"El principal riesgo de la IA generativa es que aumente el volumen de estos contenidos porque es fácil generarlos con un alto grado de sofisticación. Por lo tanto, tenemos que prevenir la creación de estos contenidos en primer lugar, entrenando a los modelos de IA para limitar su producción en caso de que ya haya una intención maliciosa claramente establecida. También deberíamos introducir un etiquetado por defecto para facilitar la detección", dijo Bharti a Toukiela por correo electrónico.

Devika Malik, experta en política de plataformas que anteriormente trabajaba en el equipo de políticas de Meta para Asia Meridional, dijo que aunque las redes sociales tienen políticas contra las imágenes íntimas no consentidas, su aplicación depende en gran medida de las denuncias de los usuarios.

"Esto supone una carga injusta para el usuario afectado, que debe demostrar su identidad y la falta de consentimiento (como ocurre con la política de Meta). Esto puede ser aún más propenso a errores cuando se trata de medios sintéticos, y el tiempo necesario para capturar y verificar estas señales externas permite que el contenido gane tracción perjudicial", dijo Malik.

Actualmente hay pocas leyes en el mundo que se ocupen de la producción y distribución de pornografía generada mediante herramientas de IA. Algunos estados de EE.UU. tienen leyes contra los deepfakes. El Reino Unido ha aprobado esta semana una ley para penalizar la creación de imágenes sexualmente explícitas generadas por IA.

Respuesta de Meta y próximos pasos

En respuesta al asunto del Consejo de Supervisión, Meta dijo que había retirado ambos contenidos. Sin embargo, la empresa de medios sociales no abordó el hecho de que no había eliminado el contenido en Instagram tras los informes iniciales de los usuarios ni cuánto tiempo permaneció el contenido en la plataforma.

Meta dijo que utiliza una mezcla de inteligencia artificial y revisión humana para detectar contenido con connotaciones sexuales. El gigante de las redes sociales dijo que no recomienda este tipo de contenido en lugares como Instagram Explore o las recomendaciones de Reels.

El Consejo de Supervisión ha solicitado comentarios del público - con plazo hasta el 30 de abril- sobre el tema, que aborda los perjuicios causados por la pornografía deepfake, información de fondo sobre la proliferación de estos contenidos en regiones como Estados Unidos y la India, y los posibles escollos del planteamiento de Meta para detectar imágenes explícitas generadas por IA.

La Junta examinará los casos y los comentarios del público y publicará su decisión en el sitio web dentro de unas semanas.

Estos casos indican que las principales plataformas siguen luchando con los antiguos procesos de moderación, mientras que las herramientas potenciadas por IA han permitido a los usuarios crear y distribuir de forma rápida y sencilla distintos tipos de contenidos. Empresas como Meta están experimentando con herramientas que utilizan IA para la generación de contenidos, con algunos esfuerzos por detectar este tipo de imágenes. En abril, la empresa anunció que colocaría distintivos "Hecho con IA" en los deepfakes si podía detectar el contenido utilizando "señales de imagen de IA estándar del sector" o revelaciones de los usuarios.

El experto en política de plataformas Malik afirmó que el etiquetado suele ser ineficaz porque el sistema de detección de imágenes generado por la IA aún no es fiable.

"El etiquetado ha demostrado tener un impacto limitado a la hora de limitar la difusión de contenidos nocivos. Si nos remontamos al caso de las imágenes generadas por IA de Taylor Swift, millones de usuarios fueron dirigidos a estas imágenes gracias al trending topic de la propia X 'Taylor Swift AI'. Así que la gente y la plataforma sabían que el contenido no era auténtico, y de todos modos se amplificó algorítmicamente", señaló Malik.

Sin embargo, los autores encuentran constantemente formas de evitar estos sistemas de detección y publicar contenidos problemáticos en las plataformas sociales.

Puede ponerse en contacto con Ivan Mehta en [email protected] por correo electrónico y a través de este enlace en Signal.