{"id":5345,"date":"2023-09-05T16:07:07","date_gmt":"2023-09-05T16:07:07","guid":{"rendered":"https:\/\/toukiela.com\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/"},"modified":"2023-09-05T16:07:16","modified_gmt":"2023-09-05T16:07:16","slug":"meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert","status":"publish","type":"post","link":"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/","title":{"rendered":"Meta d\u00e9voile un dataset r\u00e9volutionnaire pour d\u00e9masquer les biais des mod\u00e8les de vision par ordinateur \u2013 Vous ne croirez pas ce que nous avons d\u00e9couvert !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Sommaire<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f1ee0135696\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f1ee0135696\"  aria-label=\"Toggle\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/#Meta_publie_FACET_un_nouveau_benchmark_dIA_pour_evaluer_lequite_des_modeles_de_vision_par_ordinateur\" >Meta publie FACET, un nouveau benchmark d\u2019IA pour \u00e9valuer l\u2019\u00e9quit\u00e9 des mod\u00e8les de vision par ordinateur<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/#Un_benchmark_plus_complet_que_ses_predecesseurs\" >Un benchmark plus complet que ses pr\u00e9d\u00e9cesseurs<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/#Creation_de_FACET\" >Cr\u00e9ation de FACET<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/#Detection_des_biais_dans_lalgorithme_DINOv2_de_Meta\" >D\u00e9tection des biais dans l\u2019algorithme DINOv2 de Meta<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/toukiela.com\/fr_be\/meta-devoile-un-dataset-revolutionnaire-pour-demasquer-les-biais-des-modeles-de-vision-par-ordinateur-vous-ne-croirez-pas-ce-que-nous-avons-decouvert\/#Limites_de_FACET\" >Limites de FACET<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Meta_publie_FACET_un_nouveau_benchmark_dIA_pour_evaluer_lequite_des_modeles_de_vision_par_ordinateur\"><\/span>Meta publie FACET, un nouveau benchmark d\u2019IA pour \u00e9valuer l\u2019\u00e9quit\u00e9 des mod\u00e8les de vision par ordinateur<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Meta continue sur sa lanc\u00e9e dans le domaine de l\u2019open source et a r\u00e9cemment publi\u00e9 un nouveau benchmark d\u2019IA, FACET, con\u00e7u pour \u00e9valuer l'\u00a0\u00bb\u00e9quit\u00e9\u00a0\u00bb des mod\u00e8les d\u2019IA qui classifient et d\u00e9tectent des \u00e9l\u00e9ments dans les photos et les vid\u00e9os, notamment les personnes.<\/p>\n<p>Compos\u00e9 de 32 000 images contenant 50 000 personnes \u00e9tiquet\u00e9es par des annotateurs humains, FACET \u2013 un acronyme tortur\u00e9 pour \u00ab\u00a0FAirness in Computer Vision EvaluaTion\u00a0\u00bb \u2013 prend en compte des classes li\u00e9es aux professions et aux activit\u00e9s telles que \u00ab\u00a0joueur de basket-ball\u00a0\u00bb, \u00ab\u00a0disc jockey\u00a0\u00bb et \u00ab\u00a0m\u00e9decin\u00a0\u00bb, ainsi que des attributs d\u00e9mographiques et physiques, permettant des \u00e9valuations \u00ab\u00a0approfondies\u00a0\u00bb des biais \u00e0 l\u2019encontre de ces classes, selon Meta.<\/p>\n<p>\u00ab\u00a0En publiant FACET, notre objectif est de permettre aux chercheurs et aux praticiens d\u2019effectuer des benchmarks similaires pour mieux comprendre les disparit\u00e9s pr\u00e9sentes dans leurs propres mod\u00e8les et suivre l\u2019impact des mesures prises pour r\u00e9soudre les probl\u00e8mes d\u2019\u00e9quit\u00e9\u00a0\u00bb, \u00e9crit Meta dans un article de blog partag\u00e9 avec TechCrunch. \u00ab\u00a0Nous encourageons les chercheurs \u00e0 utiliser FACET pour \u00e9valuer l\u2019\u00e9quit\u00e9 dans d\u2019autres t\u00e2ches de vision et multimodales\u00a0\u00bb.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_benchmark_plus_complet_que_ses_predecesseurs\"><\/span>Un benchmark plus complet que ses pr\u00e9d\u00e9cesseurs<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Il est certain que les benchmarks permettant de d\u00e9tecter les biais dans les algorithmes de vision par ordinateur ne sont pas nouveaux. Meta lui-m\u00eame en a d\u00e9j\u00e0 publi\u00e9 un il y a plusieurs ann\u00e9es pour mettre en \u00e9vidence les discriminations li\u00e9es \u00e0 l\u2019\u00e2ge, au genre et \u00e0 la couleur de peau dans les mod\u00e8les d\u2019apprentissage automatique en vision par ordinateur et en audio. De nombreuses \u00e9tudes ont \u00e9galement \u00e9t\u00e9 r\u00e9alis\u00e9es sur les mod\u00e8les de vision par ordinateur pour d\u00e9terminer s\u2019ils sont biais\u00e9s contre certains groupes d\u00e9mographiques. (Spoiler alerte : c\u2019est g\u00e9n\u00e9ralement le cas.)<\/p>\n<p>De plus, il est important de noter que Meta n\u2019a pas le meilleur bilan en mati\u00e8re d\u2019IA responsable. L\u2019ann\u00e9e derni\u00e8re, Meta a \u00e9t\u00e9 contraint de retirer une d\u00e9monstration d\u2019IA apr\u00e8s que celle-ci ait \u00e9crit des articles scientifiques racistes et inexacts. Les outils anti-biais de Meta ont \u00e9galement \u00e9t\u00e9 qualifi\u00e9s de \u00ab\u00a0compl\u00e8tement insuffisants\u00a0\u00bb par des experts en IA. Par ailleurs, Meta a \u00e9t\u00e9 accus\u00e9 d\u2019aggraver les in\u00e9galit\u00e9s socio-\u00e9conomiques dans ses algorithmes de diffusion d\u2019annonces et de montrer un biais \u00e0 l\u2019encontre des utilisateurs noirs dans ses syst\u00e8mes de mod\u00e9ration automatis\u00e9e.<\/p>\n<p>Cependant, Meta affirme que FACET est plus complet que tous les autres benchmarks de biais en vision par ordinateur qui l\u2019ont pr\u00e9c\u00e9d\u00e9, capable de r\u00e9pondre \u00e0 des questions telles que \u00ab\u00a0Les mod\u00e8les sont-ils meilleurs pour classifier les personnes en tant que skateurs lorsqu\u2019ils pr\u00e9sentent des attributs de genre per\u00e7us comme plus st\u00e9r\u00e9otypiquement masculins ?\u00a0\u00bb et \u00ab\u00a0Certains biais sont-ils amplifi\u00e9s lorsque la personne a les cheveux cr\u00e9pus par rapport aux cheveux raides ?\u00a0\u00bb.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Creation_de_FACET\"><\/span>Cr\u00e9ation de FACET<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Pour cr\u00e9er FACET, Meta a demand\u00e9 aux annotateurs mentionn\u00e9s pr\u00e9c\u00e9demment d\u2019\u00e9tiqueter chacune des 32 000 images en fonction des attributs d\u00e9mographiques (par exemple, la pr\u00e9sentation de genre per\u00e7ue de la personne repr\u00e9sent\u00e9e et le groupe d\u2019\u00e2ge), des attributs physiques suppl\u00e9mentaires (teint de peau, \u00e9clairage, tatouages, couvre-chefs et lunettes, coiffure et pilosit\u00e9 faciale, etc.) ainsi que des classes. Ces annotations ont \u00e9t\u00e9 combin\u00e9es avec d\u2019autres annotations pour les personnes, les cheveux et les v\u00eatements provenant de Segment Anything 1 Billion, un ensemble de donn\u00e9es con\u00e7u par Meta pour l\u2019entra\u00eenement des mod\u00e8les de vision par ordinateur \u00e0 \u00ab\u00a0segmenter\u00a0\u00bb, ou isoler, les objets et les animaux dans les images.<\/p>\n<p>Les images de FACET proviennent de Segment Anything 1 Billion, qui a \u00e9t\u00e9 achet\u00e9 \u00e0 un \u00ab\u00a0fournisseur de photos\u00a0\u00bb. Cependant, il n\u2019est pas clair si les personnes photographi\u00e9es \u00e9taient conscientes que les images seraient utilis\u00e9es \u00e0 cette fin. De plus, on ignore comment Meta a recrut\u00e9 les \u00e9quipes d\u2019annotateurs et combien elles ont \u00e9t\u00e9 r\u00e9mun\u00e9r\u00e9es.<\/p>\n<p>Histoiquement, de nombreux annotateurs employ\u00e9s pour \u00e9tiqueter des ensembles de donn\u00e9es destin\u00e9s \u00e0 l\u2019IA proviennent de pays en d\u00e9veloppement et ont des revenus bien inf\u00e9rieurs au salaire minimum aux \u00c9tats-Unis. Cette semaine, le Washington Post a signal\u00e9 que Scale AI, l\u2019une des plus grandes entreprises d\u2019annotation, r\u00e9mun\u00e8re ses travailleurs \u00e0 des taux extr\u00eamement bas, retarde r\u00e9guli\u00e8rement ou retient les paiements et offre peu de possibilit\u00e9s aux travailleurs de faire valoir leurs droits.<\/p>\n<p>Selon un document technique d\u00e9crivant la cr\u00e9ation de FACET, Meta affirme que les annotateurs \u00e9taient des \u00ab\u00a0experts form\u00e9s\u00a0\u00bb provenant de \u00ab\u00a0plusieurs r\u00e9gions g\u00e9ographiques\u00a0\u00bb, dont l\u2019Am\u00e9rique du Nord (\u00c9tats-Unis), l\u2019Am\u00e9rique latine (Colombie), le Moyen-Orient (\u00c9gypte), l\u2019Afrique (Kenya), l\u2019Asie du Sud-Est (Philippines) et l\u2019Asie de l\u2019Est (Ta\u00efwan). Meta indique avoir utilis\u00e9 une plateforme d\u2019annotation \u00ab\u00a0propri\u00e9taire\u00a0\u00bb fournie par un prestataire externe et que les annotateurs ont \u00e9t\u00e9 r\u00e9mun\u00e9r\u00e9s \u00ab\u00a0avec un salaire horaire fix\u00e9 par pays\u00a0\u00bb.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Detection_des_biais_dans_lalgorithme_DINOv2_de_Meta\"><\/span>D\u00e9tection des biais dans l\u2019algorithme DINOv2 de Meta<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Meta a appliqu\u00e9 FACET \u00e0 son propre algorithme de vision par ordinateur, DINOv2, qui est d\u00e9sormais disponible \u00e0 des fins commerciales. FACET a r\u00e9v\u00e9l\u00e9 plusieurs biais dans DINOv2, notamment un biais \u00e0 l\u2019encontre des personnes pr\u00e9sentant certains attributs de genre et une propension \u00e0 identifier de mani\u00e8re st\u00e9r\u00e9otyp\u00e9e les images de femmes en tant qu'\u00a0\u00bbinfirmi\u00e8res\u00a0\u00bb.<\/p>\n<p>\u00ab\u00a0La pr\u00e9paration de l\u2019ensemble de donn\u00e9es d\u2019entra\u00eenement pr\u00e9alable de DINOv2 a peut-\u00eatre involontairement reproduit les biais des ensembles de donn\u00e9es de r\u00e9f\u00e9rence s\u00e9lectionn\u00e9s pour la cr\u00e9ation\u00a0\u00bb, \u00e9crit Meta dans l\u2019article de blog. \u00ab\u00a0Nous pr\u00e9voyons de rem\u00e9dier \u00e0 ces \u00e9ventuels probl\u00e8mes dans nos travaux futurs et pensons que la cr\u00e9ation d\u2019ensembles de donn\u00e9es bas\u00e9s sur des images pourrait \u00e9galement aider \u00e0 \u00e9viter la perp\u00e9tuation de biais potentiels d\u00e9coulant de l\u2019utilisation de moteurs de recherche ou de la supervision textuelle\u00a0\u00bb.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Limites_de_FACET\"><\/span>Limites de FACET<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Aucun benchmark n\u2019est parfait. Meta reconna\u00eet que FACET pourrait ne pas capturer suffisamment les concepts et les groupes d\u00e9mographiques du monde r\u00e9el. De plus, Meta note que de nombreuses repr\u00e9sentations de professions dans l\u2019ensemble de donn\u00e9es ont peut-\u00eatre \u00e9volu\u00e9 depuis la cr\u00e9ation de FACET. Par exemple, la plupart des m\u00e9decins et infirmi\u00e8res dans FACET, photographi\u00e9s pendant la pand\u00e9mie de COVID-19, portent plus d\u2019\u00e9quipements de protection individuelle qu\u2019auparavant.<\/p>\n<p>\u00ab\u00a0Nous n\u2019avons pas pr\u00e9vu de mettre \u00e0 jour cet ensemble de donn\u00e9es pour le moment\u00a0\u00bb, \u00e9crit Meta dans le document technique. \u00ab\u00a0Nous permettrons aux utilisateurs de signaler tout contenu pouvant \u00eatre consid\u00e9r\u00e9 comme offensant et de supprimer ce contenu s\u2019il est jug\u00e9 offensant\u00a0\u00bb.<\/p>\n<p>En plus de l\u2019ensemble de donn\u00e9es lui-m\u00eame, Meta a mis \u00e0 disposition un outil d\u2019exploration de donn\u00e9es bas\u00e9 sur le web. Pour utiliser cet outil et l\u2019ensemble de donn\u00e9es, les d\u00e9veloppeurs doivent accepter de ne pas entra\u00eener de mod\u00e8les de vision par ordinateur sur FACET, mais seulement de les \u00e9valuer, de les tester et de les comparer.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":5347,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-5345","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/posts\/5345","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/comments?post=5345"}],"version-history":[{"count":0,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/posts\/5345\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/media\/5347"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/media?parent=5345"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/categories?post=5345"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/fr_be\/wp-json\/wp\/v2\/tags?post=5345"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}