{"id":6352,"date":"2023-09-28T05:42:47","date_gmt":"2023-09-28T03:42:47","guid":{"rendered":"https:\/\/toukiela.com\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/"},"modified":"2023-09-28T05:42:48","modified_gmt":"2023-09-28T03:42:48","slug":"decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude","status":"publish","type":"post","link":"https:\/\/toukiela.com\/de\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/","title":{"rendered":"D\u00e9couvrez les incroyables faiblesses du GPT-4 d&rsquo;OpenAI avec vision, r\u00e9v\u00e9l\u00e9es dans une nouvelle \u00e9tude !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Inhaltsverzeichnis<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f20fb492db6\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f20fb492db6\"  aria-label=\"Toggle\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/de\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/#OpenAI_retient_les_fonctionnalites_dimage_de_GPT-4_par_crainte_des_problemes_de_confidentialite\" >OpenAI retient les fonctionnalit\u00e9s d\u2019image de GPT-4 par crainte des probl\u00e8mes de confidentialit\u00e9<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/de\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/#Sauvegardes_pour_eviter_les_abus\" >Sauvegardes pour \u00e9viter les abus<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/de\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/#Limites_et_problemes\" >Limites et probl\u00e8mes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/de\/decouvrez-les-incroyables-faiblesses-du-gpt-4-dopenai-avec-vision-revelees-dans-une-nouvelle-etude\/#Un_modele_en_cours_damelioration\" >Un mod\u00e8le en cours d\u2019am\u00e9lioration<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"OpenAI_retient_les_fonctionnalites_dimage_de_GPT-4_par_crainte_des_problemes_de_confidentialite\"><\/span>OpenAI retient les fonctionnalit\u00e9s d\u2019image de GPT-4 par crainte des probl\u00e8mes de confidentialit\u00e9<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Lorsque OpenAI a d\u00e9voil\u00e9 pour la premi\u00e8re fois GPT-4, son mod\u00e8le d\u2019IA de g\u00e9n\u00e9ration de texte phare, la soci\u00e9t\u00e9 a vant\u00e9 la multimodalit\u00e9 du mod\u00e8le, c\u2019est-\u00e0-dire sa capacit\u00e9 \u00e0 comprendre le contexte des images ainsi que du texte. GPT-4 pouvait l\u00e9gender \u2013 et m\u00eame interpr\u00e9ter \u2013 des images relativement complexes, a d\u00e9clar\u00e9 OpenAI, par exemple en identifiant un adaptateur Lightning Cable \u00e0 partir d\u2019une photo d\u2019un iPhone branch\u00e9.<\/p>\n<p>Mais depuis l\u2019annonce de GPT-4 fin mars, OpenAI a retenu les fonctionnalit\u00e9s d\u2019image du mod\u00e8le, apparemment par crainte des abus et des probl\u00e8mes de confidentialit\u00e9. Jusqu\u2019\u00e0 r\u00e9cemment, la nature exacte de ces craintes restait un myst\u00e8re. Mais en d\u00e9but de semaine, OpenAI a publi\u00e9 un document technique d\u00e9taillant son travail visant \u00e0 att\u00e9nuer les aspects les plus probl\u00e9matiques des outils d\u2019analyse d\u2019images de GPT-4.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Sauvegardes_pour_eviter_les_abus\"><\/span>Sauvegardes pour \u00e9viter les abus<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Jusqu\u2019\u00e0 pr\u00e9sent, GPT-4 avec vision, abr\u00e9g\u00e9 \u00ab\u00a0GPT-4V\u00a0\u00bb en interne par OpenAI, n\u2019a \u00e9t\u00e9 utilis\u00e9 r\u00e9guli\u00e8rement que par quelques milliers d\u2019utilisateurs de Be My Eyes, une application d\u2019aide \u00e0 la navigation pour les personnes malvoyantes et aveugles. Au cours des derniers mois, cependant, OpenAI a \u00e9galement commenc\u00e9 \u00e0 collaborer avec des \u00ab\u00a0\u00e9valuateurs externes\u00a0\u00bb pour examiner le mod\u00e8le \u00e0 la recherche de signes de comportement non intentionnel, selon le document.<\/p>\n<p>Dans le document, OpenAI affirme avoir mis en place des mesures de protection pour emp\u00eacher l\u2019utilisation de GPT-4V de mani\u00e8re malveillante, comme la rupture des CAPTCHA (l\u2019outil anti-spam que l\u2019on trouve sur de nombreux formulaires web), l\u2019identification d\u2019une personne ou l\u2019estimation de son \u00e2ge ou de sa race et la conclusion d\u2019informations non pr\u00e9sentes dans une photo. OpenAI affirme \u00e9galement avoir travaill\u00e9 pour att\u00e9nuer les biais plus dangereux de GPT-4V, notamment ceux li\u00e9s \u00e0 l\u2019apparence physique, au genre ou \u00e0 l\u2019ethnicit\u00e9 d\u2019une personne.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Limites_et_problemes\"><\/span>Limites et probl\u00e8mes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Mais comme pour tous les mod\u00e8les d\u2019IA, les mesures de protection ont leurs limites. Le document r\u00e9v\u00e8le que GPT-4V a parfois du mal \u00e0 tirer les bonnes inf\u00e9rences, par exemple en combinant \u00e0 tort deux cha\u00eenes de texte dans une image pour cr\u00e9er un terme invent\u00e9. Comme pour GPT-4 de base, GPT-4V a tendance \u00e0 halluciner, c\u2019est-\u00e0-dire \u00e0 inventer des faits d\u2019un ton autoritaire. Et il peut \u00e9galement manquer de reconnaissance de texte ou de caract\u00e8res, ignorer les symboles math\u00e9matiques et ne pas reconna\u00eetre des objets ou des lieux \u00e9vidents.<\/p>\n<p>Il n\u2019est donc pas surprenant que de mani\u00e8re claire et sans ambigu\u00eft\u00e9, OpenAI d\u00e9clare que GPT-4V ne doit pas \u00eatre utilis\u00e9 pour rep\u00e9rer des substances ou des produits chimiques dangereux dans les images. Les \u00e9valuateurs externes ont d\u00e9couvert que, bien que le mod\u00e8le identifie parfois correctement des aliments toxiques tels que des champignons v\u00e9n\u00e9neux, il identifie de mani\u00e8re erron\u00e9e des substances telles que le fentanyl, le carfentanil et la coca\u00efne \u00e0 partir d\u2019images de leurs structures chimiques.<\/p>\n<p>Appliqu\u00e9 au domaine de l\u2019imagerie m\u00e9dicale, GPT-4V ne se comporte pas mieux, donnant parfois de mauvaises r\u00e9ponses pour une m\u00eame question \u00e0 laquelle il avait r\u00e9pondu correctement dans un contexte pr\u00e9c\u00e9dent. Il ignore \u00e9galement les pratiques courantes telles que la visualisation des scanners d\u2019imagerie comme si le patient vous faisait face (ce qui signifie que le c\u00f4t\u00e9 droit de l\u2019image correspond au c\u00f4t\u00e9 gauche du patient), ce qui conduit \u00e0 un mauvais diagnostic de nombreuses affections.<\/p>\n<p>Dans d\u2019autres cas, GPT-4V ne comprend pas les nuances de certains symboles haineux \u2013 par exemple, il ne comprend pas la signification moderne de la Croix des Templiers (supr\u00e9matie blanche) aux \u00c9tats-Unis. Plus \u00e9trangement, et peut-\u00eatre comme sympt\u00f4me de ses tendances hallucinatoires, GPT-4V a \u00e9t\u00e9 observ\u00e9 en train de composer des chansons ou des po\u00e8mes \u00e9logieux de certaines figures ou groupes haineux lorsqu\u2019une photo d\u2019eux \u00e9tait fournie, m\u00eame si les figures ou les groupes n\u2019\u00e9taient pas explicitement nomm\u00e9s.<\/p>\n<p>GPT-4V discrimine \u00e9galement certains sexes et types de corps \u2013 mais seulement lorsque les mesures de protection d\u2019OpenAI sont d\u00e9sactiv\u00e9es. OpenAI \u00e9crit que, lors d\u2019un test, lorsque GPT-4V \u00e9tait invit\u00e9 \u00e0 donner des conseils \u00e0 une femme en maillot de bain, il donnait des r\u00e9ponses presque exclusivement li\u00e9es au poids du corps de la femme et au concept de positivit\u00e9 corporelle. On peut supposer que cela n\u2019aurait pas \u00e9t\u00e9 le cas si l\u2019image avait \u00e9t\u00e9 celle d\u2019un homme.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_modele_en_cours_damelioration\"><\/span>Un mod\u00e8le en cours d\u2019am\u00e9lioration<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Jug\u00e9 par le langage nuanc\u00e9 du document, GPT-4V reste encore un travail en cours \u2013 encore quelques \u00e9tapes en de\u00e7\u00e0 de ce qu\u2019OpenAI avait peut-\u00eatre initialement envisag\u00e9. Dans de nombreux cas, la soci\u00e9t\u00e9 a d\u00fb mettre en place des mesures de protection excessivement strictes pour emp\u00eacher le mod\u00e8le de propager de la toxicit\u00e9 ou des informations erron\u00e9es, ou de compromettre la vie priv\u00e9e d\u2019une personne.<\/p>\n<p>OpenAI affirme qu\u2019elle met en place des \u00ab\u00a0att\u00e9nuations\u00a0\u00bb et des \u00ab\u00a0processus\u00a0\u00bb pour \u00e9tendre les capacit\u00e9s du mod\u00e8le de mani\u00e8re \u00ab\u00a0s\u00e9curis\u00e9e\u00a0\u00bb, notamment en permettant \u00e0 GPT-4V de d\u00e9crire des visages et des personnes sans les identifier nomm\u00e9ment. Mais le document r\u00e9v\u00e8le que GPT-4V n\u2019est pas une panac\u00e9e et qu\u2019OpenAI a encore beaucoup de travail devant lui.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":6354,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-6352","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/6352","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/comments?post=6352"}],"version-history":[{"count":1,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/6352\/revisions"}],"predecessor-version":[{"id":6353,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/6352\/revisions\/6353"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media\/6354"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media?parent=6352"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/categories?post=6352"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/tags?post=6352"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}