Scandale ! Le Conseil de surveillance de Meta enquête sur les images explicites générées par une IA publiées sur Instagram et Facebook

Le Conseil de surveillance de Meta enquête sur la gestion des images générées par l’IA sur ses plateformes sociales

Le Conseil de surveillance, l’organe semi-indépendant de Meta chargé des politiques, se penche sur la manière dont les plateformes sociales de l’entreprise gèrent les images explicites générées par l’IA. Mardi, il a annoncé l’ouverture d’enquêtes sur deux affaires distinctes concernant la manière dont Instagram en Inde et Facebook aux États-Unis ont géré des images générées par l’IA de personnalités publiques, après que les systèmes de Meta n’aient pas réussi à détecter et à répondre au contenu explicite.

Dans les deux cas, les sites ont maintenant retiré les médias. Le Conseil ne nomme pas les personnes ciblées par les images générées par l’IA « afin d’éviter le harcèlement fondé sur le genre », selon un e-mail envoyé par Meta à Toukiela.

Le Conseil examine les cas liés aux décisions de modération de Meta. Les utilisateurs doivent d’abord faire appel à Meta concernant une décision de modération avant de s’adresser au Conseil de surveillance. Le Conseil doit publier ses conclusions complètes à l’avenir.

Les cas

Décrivant le premier cas, le Conseil a déclaré qu’un utilisateur avait signalé comme pornographique une image nue générée par l’IA d’une personnalité publique indienne sur Instagram. L’image avait été publiée par un compte qui ne publie exclusivement que des images de femmes indiennes créées par l’IA, et la majorité des utilisateurs qui réagissent à ces images sont basés en Inde.

Meta n’a pas supprimé l’image après le premier signalement, et le ticket pour le signalement a été automatiquement fermé après 48 heures, car l’entreprise n’a pas examiné le signalement plus en détail. Lorsque le plaignant initial a fait appel de la décision, le signalement a à nouveau été automatiquement clos sans aucune supervision de la part de Meta. En d’autres termes, après deux signalements, l’image explicite générée par l’IA est restée sur Instagram.

L’utilisateur a alors enfin fait appel au Conseil de surveillance. L’entreprise n’a agi qu’à ce moment-là pour supprimer le contenu objet de l’objection et a retiré l’image pour avoir enfreint ses normes communautaires en matière d’intimidation et de harcèlement.

Le deuxième cas concerne Facebook, où un utilisateur a publié une image explicite générée par l’IA qui ressemblait à une personnalité publique américaine dans un groupe axé sur les créations d’IA. Dans ce cas, le réseau social a supprimé l’image car elle avait été publiée par un autre utilisateur auparavant, et Meta l’avait ajoutée à une banque de correspondance de médias sous la catégorie « photoshop ou dessins sexualisés et dérogatoires ».

Lorsque Toukiela a demandé pourquoi le Conseil avait choisi un cas où l’entreprise avait réussi à supprimer une image explicite générée par l’IA, le Conseil a déclaré qu’il sélectionnait des cas « qui sont emblématiques de problèmes plus larges sur les plateformes de Meta ». Il a ajouté que ces cas permettaient au Conseil consultatif d’examiner l’efficacité mondiale de la politique et des processus de Meta pour différents sujets.

« Nous savons que Meta est plus rapide et plus efficace pour modérer le contenu dans certains marchés et langues que dans d’autres. En prenant un cas des États-Unis et un cas de l’Inde, nous voulons examiner si Meta protège toutes les femmes du monde de manière équitable », a déclaré la co-présidente du Conseil de surveillance, Helle Thorning-Schmidt, dans un communiqué.

« Le Conseil estime qu’il est important d’examiner si les politiques et les pratiques d’application de Meta sont efficaces pour résoudre ce problème », a ajouté Thorning-Schmidt.

Le problème de la pornographie deepfake et de la violence en ligne fondée sur le genre

Certaines – pas toutes – des outils d’IA générative ces dernières années ont été étendus pour permettre aux utilisateurs de générer du contenu pornographique. Comme le rapportait précédemment Toukiela, des groupes tels que Unstable Diffusion cherchent à monétiser la pornographie basée sur l’IA avec des lignes éthiques troubles et des biais dans les données.

Dans des régions comme l’Inde, les deepfakes sont également un problème préoccupant. L’année dernière, un rapport de la BBC a noté que le nombre de vidéos deepfakes d’actrices indiennes avait explosé ces derniers temps. Des données suggèrent que les femmes sont plus souvent les sujets de vidéos deepfakes.

Plus tôt cette année, le ministre adjoint de l’Informatique Rajeev Chandrasekhar s’est dit insatisfait de l’approche des entreprises technologiques pour lutter contre les deepfakes.

« Si une plateforme pense qu’elle peut s’en tirer sans supprimer les vidéos deepfake, ou qu’elle adopte simplement une approche négligente, nous avons le pouvoir de protéger nos citoyens en bloquant de telles plateformes », a déclaré Chandrasekhar lors d’une conférence de presse à ce moment-là.

Alors que l’Inde envisage d’introduire des règles spécifiques concernant les deepfakes dans la loi, rien n’est encore gravé dans le marbre.

Si le pays dispose de dispositions permettant de signaler la violence en ligne fondée sur le genre en vertu de la loi, les experts notent que le processus peut être fastidieux et qu’il y a souvent peu de soutien. Dans une étude publiée l’année dernière, le groupe de défense indien IT for Change a souligné que les tribunaux en Inde doivent disposer de processus solides pour traiter la violence en ligne fondée sur le genre et ne pas banaliser ces affaires.

Aparajita Bharti, co-fondatrice de The Quantum Hub, un cabinet de conseil en politiques publiques basé en Inde, a déclaré qu’il devrait y avoir des limites aux modèles d’IA pour les empêcher de créer du contenu explicite qui cause du tort.

« Le principal risque de l’IA génératrice est que le volume de ce contenu augmentera car il est facile de générer un tel contenu avec un degré élevé de sophistication. Par conséquent, nous devons d’abord empêcher la création de ce contenu en formant les modèles d’IA à limiter leur production en cas d’intention de nuire déjà clairement établie. Nous devrions également introduire un étiquetage par défaut pour une détection facile », a déclaré Bharti à Toukiela par e-mail.

Devika Malik, experte en politiques de plateforme qui a travaillé auparavant dans l’équipe des politiques du sud de l’Asie de Meta, a déclaré que si les réseaux sociaux disposent de politiques contre les images intimes non consensuelles, leur application repose largement sur les signalements des utilisateurs.

« Cela place un fardeau injuste sur l’utilisateur affecté pour prouver son identité et le manque de consentement (comme c’est le cas avec la politique de Meta). Cela peut devenir encore plus propice aux erreurs lorsqu’il s’agit de médias synthétiques, et le temps nécessaire pour capturer et vérifier ces signaux externes permet au contenu de gagner une traction nuisible », a déclaré Malik.

Il existe actuellement peu de lois dans le monde qui traitent de la production et de la distribution de pornographie générée à l’aide d’outils d’IA. Quelques États américains disposent de lois contre les deepfakes. Le Royaume-Uni a adopté une loi cette semaine pour criminaliser la création d’images à caractère sexuellement explicite générées par l’IA.

La réponse de Meta et les prochaines étapes

En réponse aux affaires du Conseil de surveillance, Meta a déclaré qu’il avait supprimé les deux contenus. Cependant, l’entreprise de médias sociaux n’a pas abordé le fait qu’elle n’avait pas réussi à supprimer le contenu sur Instagram après les premiers signalements des utilisateurs ni combien de temps le contenu est resté sur la plateforme.

Meta a déclaré qu’il utilise un mélange d’intelligence artificielle et d’examen humain pour détecter les contenus à connotation sexuelle. Le géant des médias sociaux a déclaré qu’il ne recommande pas ce type de contenu dans des endroits comme les recommandations d’Instagram Explore ou Reels.

Le Conseil de surveillance a sollicité des commentaires du public – avec une date limite fixée au 30 avril – sur la question qui aborde les préjudices causés par la pornographie deepfake, des informations contextuelles sur la prolifération de ce contenu dans des régions comme les États-Unis et l’Inde, et les éventuels écueils de l’approche de Meta dans la détection d’images explicites générées par l’IA.

Le Conseil examinera les affaires et les commentaires du public et publiera sa décision sur le site dans quelques semaines.

Ces affaires indiquent que les grandes plateformes luttent encore avec d’anciens processus de modération alors que les outils alimentés par l’IA ont permis aux utilisateurs de créer et de diffuser rapidement et facilement différents types de contenus. Des entreprises comme Meta expérimentent des outils qui utilisent l’IA pour la génération de contenu, avec certains efforts pour détecter de telles images. En avril, l’entreprise a annoncé qu’elle apposerait des badges « Fabriqué avec IA » sur les deepfakes si elle pouvait détecter le contenu à l’aide de « signaux d’image IA standard de l’industrie » ou de divulgations de l’utilisateur.

L’experte en politiques de plateforme Malik a déclaré que l’étiquetage était souvent inefficace car le système de détection des images générées par l’IA n’est pas encore fiable.

« L’étiquetage s’est avéré avoir un impact limité en ce qui concerne la limitation de la diffusion de contenu préjudiciable. Si nous revenons au cas des images générées par l’IA de Taylor Swift, des millions d’utilisateurs ont été dirigés vers ces images grâce au propre sujet tendance de X ‘Taylor Swift IA’. Donc, les gens et la plateforme savaient que le contenu n’était pas authentique, et il a quand même été amplifié de manière algorithmique », a noté Malik.

Cependant, les auteurs trouvent constamment des moyens d’éviter ces systèmes de détection et de publier du contenu problématique sur les plateformes sociales.

Vous pouvez contacter Ivan Mehta à l’adresse im@ivanmehta.com par email et via ce lien sur Signal.