Meta dévoile un dataset révolutionnaire pour démasquer les biais des modèles de vision par ordinateur – Vous ne croirez pas ce que nous avons découvert !

Meta publie FACET, un nouveau benchmark d’IA pour évaluer l’équité des modèles de vision par ordinateur

Meta continue sur sa lancée dans le domaine de l’open source et a récemment publié un nouveau benchmark d’IA, FACET, conçu pour évaluer l' »équité » des modèles d’IA qui classifient et détectent des éléments dans les photos et les vidéos, notamment les personnes.

Composé de 32 000 images contenant 50 000 personnes étiquetées par des annotateurs humains, FACET – un acronyme torturé pour « FAirness in Computer Vision EvaluaTion » – prend en compte des classes liées aux professions et aux activités telles que « joueur de basket-ball », « disc jockey » et « médecin », ainsi que des attributs démographiques et physiques, permettant des évaluations « approfondies » des biais à l’encontre de ces classes, selon Meta.

« En publiant FACET, notre objectif est de permettre aux chercheurs et aux praticiens d’effectuer des benchmarks similaires pour mieux comprendre les disparités présentes dans leurs propres modèles et suivre l’impact des mesures prises pour résoudre les problèmes d’équité », écrit Meta dans un article de blog partagé avec TechCrunch. « Nous encourageons les chercheurs à utiliser FACET pour évaluer l’équité dans d’autres tâches de vision et multimodales ».

Un benchmark plus complet que ses prédécesseurs

Il est certain que les benchmarks permettant de détecter les biais dans les algorithmes de vision par ordinateur ne sont pas nouveaux. Meta lui-même en a déjà publié un il y a plusieurs années pour mettre en évidence les discriminations liées à l’âge, au genre et à la couleur de peau dans les modèles d’apprentissage automatique en vision par ordinateur et en audio. De nombreuses études ont également été réalisées sur les modèles de vision par ordinateur pour déterminer s’ils sont biaisés contre certains groupes démographiques. (Spoiler alerte : c’est généralement le cas.)

De plus, il est important de noter que Meta n’a pas le meilleur bilan en matière d’IA responsable. L’année dernière, Meta a été contraint de retirer une démonstration d’IA après que celle-ci ait écrit des articles scientifiques racistes et inexacts. Les outils anti-biais de Meta ont également été qualifiés de « complètement insuffisants » par des experts en IA. Par ailleurs, Meta a été accusé d’aggraver les inégalités socio-économiques dans ses algorithmes de diffusion d’annonces et de montrer un biais à l’encontre des utilisateurs noirs dans ses systèmes de modération automatisée.

Cependant, Meta affirme que FACET est plus complet que tous les autres benchmarks de biais en vision par ordinateur qui l’ont précédé, capable de répondre à des questions telles que « Les modèles sont-ils meilleurs pour classifier les personnes en tant que skateurs lorsqu’ils présentent des attributs de genre perçus comme plus stéréotypiquement masculins ? » et « Certains biais sont-ils amplifiés lorsque la personne a les cheveux crépus par rapport aux cheveux raides ? ».

Création de FACET

Pour créer FACET, Meta a demandé aux annotateurs mentionnés précédemment d’étiqueter chacune des 32 000 images en fonction des attributs démographiques (par exemple, la présentation de genre perçue de la personne représentée et le groupe d’âge), des attributs physiques supplémentaires (teint de peau, éclairage, tatouages, couvre-chefs et lunettes, coiffure et pilosité faciale, etc.) ainsi que des classes. Ces annotations ont été combinées avec d’autres annotations pour les personnes, les cheveux et les vêtements provenant de Segment Anything 1 Billion, un ensemble de données conçu par Meta pour l’entraînement des modèles de vision par ordinateur à « segmenter », ou isoler, les objets et les animaux dans les images.

Les images de FACET proviennent de Segment Anything 1 Billion, qui a été acheté à un « fournisseur de photos ». Cependant, il n’est pas clair si les personnes photographiées étaient conscientes que les images seraient utilisées à cette fin. De plus, on ignore comment Meta a recruté les équipes d’annotateurs et combien elles ont été rémunérées.

Histoiquement, de nombreux annotateurs employés pour étiqueter des ensembles de données destinés à l’IA proviennent de pays en développement et ont des revenus bien inférieurs au salaire minimum aux États-Unis. Cette semaine, le Washington Post a signalé que Scale AI, l’une des plus grandes entreprises d’annotation, rémunère ses travailleurs à des taux extrêmement bas, retarde régulièrement ou retient les paiements et offre peu de possibilités aux travailleurs de faire valoir leurs droits.

Selon un document technique décrivant la création de FACET, Meta affirme que les annotateurs étaient des « experts formés » provenant de « plusieurs régions géographiques », dont l’Amérique du Nord (États-Unis), l’Amérique latine (Colombie), le Moyen-Orient (Égypte), l’Afrique (Kenya), l’Asie du Sud-Est (Philippines) et l’Asie de l’Est (Taïwan). Meta indique avoir utilisé une plateforme d’annotation « propriétaire » fournie par un prestataire externe et que les annotateurs ont été rémunérés « avec un salaire horaire fixé par pays ».

Détection des biais dans l’algorithme DINOv2 de Meta

Meta a appliqué FACET à son propre algorithme de vision par ordinateur, DINOv2, qui est désormais disponible à des fins commerciales. FACET a révélé plusieurs biais dans DINOv2, notamment un biais à l’encontre des personnes présentant certains attributs de genre et une propension à identifier de manière stéréotypée les images de femmes en tant qu' »infirmières ».

« La préparation de l’ensemble de données d’entraînement préalable de DINOv2 a peut-être involontairement reproduit les biais des ensembles de données de référence sélectionnés pour la création », écrit Meta dans l’article de blog. « Nous prévoyons de remédier à ces éventuels problèmes dans nos travaux futurs et pensons que la création d’ensembles de données basés sur des images pourrait également aider à éviter la perpétuation de biais potentiels découlant de l’utilisation de moteurs de recherche ou de la supervision textuelle ».

Limites de FACET

Aucun benchmark n’est parfait. Meta reconnaît que FACET pourrait ne pas capturer suffisamment les concepts et les groupes démographiques du monde réel. De plus, Meta note que de nombreuses représentations de professions dans l’ensemble de données ont peut-être évolué depuis la création de FACET. Par exemple, la plupart des médecins et infirmières dans FACET, photographiés pendant la pandémie de COVID-19, portent plus d’équipements de protection individuelle qu’auparavant.

« Nous n’avons pas prévu de mettre à jour cet ensemble de données pour le moment », écrit Meta dans le document technique. « Nous permettrons aux utilisateurs de signaler tout contenu pouvant être considéré comme offensant et de supprimer ce contenu s’il est jugé offensant ».

En plus de l’ensemble de données lui-même, Meta a mis à disposition un outil d’exploration de données basé sur le web. Pour utiliser cet outil et l’ensemble de données, les développeurs doivent accepter de ne pas entraîner de modèles de vision par ordinateur sur FACET, mais seulement de les évaluer, de les tester et de les comparer.