{"id":5392,"date":"2023-09-06T20:31:18","date_gmt":"2023-09-06T20:31:18","guid":{"rendered":"https:\/\/toukiela.com\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/"},"modified":"2023-09-06T20:31:25","modified_gmt":"2023-09-06T20:31:25","slug":"les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement","status":"publish","type":"post","link":"https:\/\/toukiela.com\/de\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/","title":{"rendered":"Les mod\u00e8les d&rsquo;IA sont-ils condamn\u00e9s \u00e0 toujours halluciner ? D\u00e9couvrez la v\u00e9rit\u00e9 choquante derri\u00e8re leur fonctionnement !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Sommaire<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f2055a3a64a\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f2055a3a64a\"  aria-label=\"Toggle\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/de\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/#Les_problemes_des_modeles_de_langage\" >Les probl\u00e8mes des mod\u00e8les de langage<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/de\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/#Formation_des_modeles\" >Formation des mod\u00e8les<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/de\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/#Resoudre_lhallucination\" >R\u00e9soudre l\u2019hallucination<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/de\/les-modeles-dia-sont-ils-condamnes-a-toujours-halluciner-decouvrez-la-verite-choquante-derriere-leur-fonctionnement\/#Philosophies_alternatives\" >Philosophies alternatives<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Les_problemes_des_modeles_de_langage\"><\/span>Les probl\u00e8mes des mod\u00e8les de langage<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Les grands mod\u00e8les de langage (LLM), tels que ChatGPT d\u2019OpenAI, souffrent tous du m\u00eame probl\u00e8me : ils inventent des informations.<\/p>\n<p>Ces erreurs vont du bizarre et inoffensif \u2013 comme pr\u00e9tendre que le pont du Golden Gate a \u00e9t\u00e9 transport\u00e9 en \u00c9gypte en 2016 \u2013 \u00e0 des probl\u00e8mes graves, voire dangereux.<\/p>\n<p>R\u00e9cemment, un maire en Australie a menac\u00e9 de poursuivre OpenAI parce que ChatGPT affirmait \u00e0 tort qu\u2019il avait plaid\u00e9 coupable dans un important scandale de corruption. Des chercheurs ont d\u00e9couvert que les hallucinations des LLM peuvent \u00eatre exploit\u00e9es pour distribuer des codes malveillants \u00e0 des d\u00e9veloppeurs de logiciels sans m\u00e9fiance. De plus, les LLM donnent souvent de mauvais conseils en mati\u00e8re de sant\u00e9 mentale et m\u00e9dicale, comme celui selon lequel la consommation de vin peut \u00ab\u00a0pr\u00e9venir le cancer\u00a0\u00bb.<\/p>\n<p>Cette tendance \u00e0 inventer des \u00ab\u00a0faits\u00a0\u00bb est un ph\u00e9nom\u00e8ne connu sous le nom d\u2019hallucination, et cela se produit en raison de la fa\u00e7on dont les LLM d\u2019aujourd\u2019hui \u2013 et tous les mod\u00e8les d\u2019IA g\u00e9n\u00e9rative, en fait \u2013 sont d\u00e9velopp\u00e9s et form\u00e9s.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Formation_des_modeles\"><\/span>Formation des mod\u00e8les<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Les mod\u00e8les d\u2019IA g\u00e9n\u00e9rative n\u2019ont pas une v\u00e9ritable intelligence \u2013 ce sont des syst\u00e8mes statistiques qui pr\u00e9disent des mots, des images, de la parole, de la musique ou d\u2019autres donn\u00e9es. En leur fournissant un nombre \u00e9norme d\u2019exemples, g\u00e9n\u00e9ralement issus du web public, les mod\u00e8les d\u2019IA apprennent la probabilit\u00e9 d\u2019occurrence des donn\u00e9es en fonction des motifs, y compris le contexte des donn\u00e9es environnantes.<\/p>\n<p>Par exemple, lorsqu\u2019on lui donne un email typique se terminant par le fragment \u00ab\u00a0Looking forward\u2026\u00a0\u00bb, un LLM pourrait le compl\u00e9ter par \u00ab\u00a0\u2026 to hearing back\u00a0\u00bb \u2013 suivant le mod\u00e8le des innombrables emails sur lesquels il a \u00e9t\u00e9 form\u00e9. Cela ne signifie pas que le LLM attend quoi que ce soit avec impatience.<\/p>\n<p>\u00ab\u00a0Le cadre actuel de formation des LLM implique de masquer les mots pr\u00e9c\u00e9dents pour le contexte\u00a0\u00bb et de demander au mod\u00e8le de pr\u00e9dire quels mots doivent remplacer ceux qui sont masqu\u00e9s, explique Sebastian Berns, chercheur en doctorat \u00e0 la Queen Mary University de Londres, dans une interview par courrier \u00e9lectronique avec TechCrunch. \u00ab\u00a0Cela est conceptuellement similaire \u00e0 l\u2019utilisation du texte pr\u00e9dictif dans iOS et \u00e0 l\u2019appui continu de l\u2019un des mots sugg\u00e9r\u00e9s suivants.\u00a0\u00bb<\/p>\n<p>Cette approche bas\u00e9e sur la probabilit\u00e9 fonctionne remarquablement bien \u00e0 grande \u00e9chelle \u2013 pour la plupart. Mais bien que la gamme de mots et leurs probabilit\u00e9s soient susceptibles de donner un texte coh\u00e9rent, cela est loin d\u2019\u00eatre certain.<\/p>\n<p>Les LLM peuvent g\u00e9n\u00e9rer quelque chose de grammaticalement correct mais d\u00e9nu\u00e9 de sens, par exemple \u2013 comme l\u2019affirmation sur le Golden Gate. Ou ils peuvent prof\u00e9rer des contrev\u00e9rit\u00e9s, propageant des inexactitudes dans leurs donn\u00e9es d\u2019entra\u00eenement. Ou ils peuvent confondre diff\u00e9rentes sources d\u2019information, y compris des sources fictives, m\u00eame si ces sources se contredisent clairement.<\/p>\n<p>Ce n\u2019est pas malveillant de la part des LLM. Ils n\u2019ont pas de malice, et les concepts de vrai et de faux n\u2019ont pas de sens pour eux. Ils ont simplement appris \u00e0 associer certains mots ou phrases \u00e0 certains concepts, m\u00eame si ces associations ne sont pas exactes.<\/p>\n<p>\u00ab\u00a0Les \u2018hallucinations\u2019 sont li\u00e9es \u00e0 l\u2019incapacit\u00e9 d\u2019un LLM \u00e0 estimer l\u2019incertitude de sa propre pr\u00e9diction\u00a0\u00bb, explique Berns. \u00ab\u00a0Un LLM est g\u00e9n\u00e9ralement form\u00e9 pour produire toujours une sortie, m\u00eame lorsque l\u2019entr\u00e9e est tr\u00e8s diff\u00e9rente des donn\u00e9es d\u2019entra\u00eenement. Un LLM standard n\u2019a aucun moyen de savoir s\u2019il est capable de r\u00e9pondre de mani\u00e8re fiable \u00e0 une requ\u00eate ou de faire une pr\u00e9diction.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Resoudre_lhallucination\"><\/span>R\u00e9soudre l\u2019hallucination<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La question est de savoir si l\u2019hallucination peut \u00eatre r\u00e9solue. Cela d\u00e9pend de ce que l\u2019on entend par \u00ab\u00a0r\u00e9solu\u00a0\u00bb.<\/p>\n<p>Vu Ha, chercheur appliqu\u00e9 et ing\u00e9nieur \u00e0 l\u2019Allen Institute for Artificial Intelligence, affirme que les LLM \u00ab\u00a0hallucinent et hallucineront toujours\u00a0\u00bb. Mais il croit \u00e9galement qu\u2019il existe des moyens concrets de r\u00e9duire \u2013 sans toutefois \u00e9liminer \u2013 les hallucinations, en fonction de la fa\u00e7on dont un LLM est form\u00e9 et d\u00e9ploy\u00e9.<\/p>\n<p>\u00ab\u00a0Prenons un syst\u00e8me de r\u00e9ponses aux questions\u00a0\u00bb, explique Ha par courrier \u00e9lectronique. \u00ab\u00a0Il est possible de le concevoir pour qu\u2019il ait une grande pr\u00e9cision en constituant une base de connaissances de haute qualit\u00e9 de questions et de r\u00e9ponses, et en reliant cette base de connaissances \u00e0 un LLM pour fournir des r\u00e9ponses pr\u00e9cises via un processus de r\u00e9cup\u00e9ration.\u00a0\u00bb<\/p>\n<p>Ha illustre la diff\u00e9rence entre un LLM disposant d\u2019une base de connaissances \u00ab\u00a0de haute qualit\u00e9\u00a0\u00bb sur laquelle s\u2019appuyer et un autre avec une curation de donn\u00e9es moins rigoureuse. Il a pos\u00e9 la question \u00ab\u00a0Qui sont les auteurs de l\u2019article Toolformer ?\u00a0\u00bb (Toolformer est un mod\u00e8le d\u2019IA form\u00e9 par Meta) dans le chat Bing de Microsoft, propuls\u00e9 par un LLM, et dans le chat Bard de Google. Bing Chat a correctement r\u00e9pertori\u00e9 les huit co-auteurs de Meta, tandis que Bard a attribu\u00e9 l\u2019article \u00e0 des chercheurs de Google et de Hugging Face.<\/p>\n<p>\u00ab\u00a0Tout LLM d\u00e9ploy\u00e9 aura des hallucinations. La vraie question est de savoir si les avantages l\u2019emportent sur les cons\u00e9quences n\u00e9gatives caus\u00e9es par l\u2019hallucination\u00a0\u00bb, explique Ha. En d\u2019autres termes, s\u2019il n\u2019y a aucun dommage \u00e9vident caus\u00e9 par un mod\u00e8le \u2013 si le mod\u00e8le se trompe occasionnellement dans une date ou un nom, par exemple \u2013 mais qu\u2019il est par ailleurs utile, cela pourrait valoir le compromis. \u00ab\u00a0Il s\u2019agit de maximiser l\u2019utilit\u00e9 attendue de l\u2019IA\u00a0\u00bb, ajoute-t-il.<\/p>\n<p>Berns a soulign\u00e9 une autre technique qui avait \u00e9t\u00e9 utilis\u00e9e avec un certain succ\u00e8s pour r\u00e9duire les hallucinations dans les LLM : l\u2019apprentissage par renforcement \u00e0 partir des commentaires humains (RLHF). Introduit par OpenAI en 2017, le RLHF consiste \u00e0 former un LLM, puis \u00e0 recueillir des informations suppl\u00e9mentaires pour former un mod\u00e8le de \u00ab\u00a0r\u00e9compense\u00a0\u00bb et \u00e0 affiner le LLM avec le mod\u00e8le de r\u00e9compense via l\u2019apprentissage par renforcement.<\/p>\n<p>Dans le RLHF, un ensemble de requ\u00eates d\u2019un ensemble de donn\u00e9es pr\u00e9d\u00e9fini est pass\u00e9 \u00e0 un LLM pour g\u00e9n\u00e9rer un nouveau texte. Ensuite, des annotateurs humains sont utilis\u00e9s pour classer les sorties du LLM en termes de \u00ab\u00a0pertinence\u00a0\u00bb globale \u2013 des donn\u00e9es qui sont utilis\u00e9es pour former le mod\u00e8le de r\u00e9compense. Le mod\u00e8le de r\u00e9compense, qui peut maintenant prendre n\u2019importe quel texte et lui attribuer une note en fonction de la perception humaine, est ensuite utilis\u00e9 pour affiner les r\u00e9ponses g\u00e9n\u00e9r\u00e9es par le LLM.<\/p>\n<p>OpenAI a utilis\u00e9 le RLHF pour former plusieurs de ses mod\u00e8les, y compris GPT-4. Mais m\u00eame le RLHF n\u2019est pas parfait, pr\u00e9vient Berns.<\/p>\n<p>\u00ab\u00a0Je pense que l\u2019espace des possibilit\u00e9s est trop vaste pour \u2018aligner\u2019 compl\u00e8tement les LLM avec le RLHF\u00a0\u00bb, dit Berns. \u00ab\u00a0Ce qui est souvent fait dans le cadre du RLHF, c\u2019est former un mod\u00e8le pour produire une r\u00e9ponse \u2018Je ne sais pas\u2019 [\u00e0 une question difficile], en se basant principalement sur les connaissances humaines du domaine et en esp\u00e9rant que le mod\u00e8le g\u00e9n\u00e9ralise ces connaissances \u00e0 son propre domaine. Souvent, cela fonctionne, mais cela peut \u00eatre un peu capricieux.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Philosophies_alternatives\"><\/span>Philosophies alternatives<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>En supposant que l\u2019hallucination n\u2019est pas r\u00e9soluble, du moins avec les LLM d\u2019aujourd\u2019hui, est-ce une mauvaise chose ? Berns ne le pense pas, en r\u00e9alit\u00e9. Les mod\u00e8les hallucinants pourraient stimuler la cr\u00e9ativit\u00e9 en agissant comme un \u00ab\u00a0partenaire de co-cr\u00e9ation\u00a0\u00bb, en fournissant des sorties qui pourraient ne pas \u00eatre enti\u00e8rement factuelles mais qui contiennent n\u00e9anmoins des pistes utiles \u00e0 explorer. Les utilisations cr\u00e9atives de l\u2019hallucination peuvent produire des r\u00e9sultats ou des combinaisons d\u2019id\u00e9es qui ne viendraient pas \u00e0 l\u2019esprit de la plupart des gens.<\/p>\n<p>\u00ab\u00a0Les \u2018hallucinations\u2019 posent probl\u00e8me lorsque les d\u00e9clarations g\u00e9n\u00e9r\u00e9es sont factuellement incorrectes ou contreviennent \u00e0 des valeurs humaines, sociales ou culturelles g\u00e9n\u00e9rales \u2013 dans les sc\u00e9narios o\u00f9 une personne compte sur le LLM pour \u00eatre un expert\u00a0\u00bb, explique-t-il. \u00ab\u00a0Mais dans les t\u00e2ches cr\u00e9atives ou artistiques, la capacit\u00e9 \u00e0 proposer des r\u00e9sultats inattendus peut \u00eatre pr\u00e9cieuse. Un destinataire humain peut \u00eatre surpris par une r\u00e9ponse \u00e0 une requ\u00eate et \u00eatre ainsi pouss\u00e9 dans une certaine direction de r\u00e9flexion qui pourrait conduire \u00e0 une nouvelle connexion d\u2019id\u00e9es.\u00a0\u00bb<\/p>\n<p>Ha fait valoir que les LLM d\u2019aujourd\u2019hui sont soumis \u00e0 une norme d\u00e9raisonnable \u2013 apr\u00e8s tout, les humains \u00ab\u00a0hallucinent\u00a0\u00bb aussi, lorsque nous nous souvenons mal ou d\u00e9formons la v\u00e9rit\u00e9 d\u2019une autre mani\u00e8re. Mais avec les LLM, il pense que nous ressentons une dissonance cognitive car les mod\u00e8les produisent des r\u00e9sultats qui semblent bons en surface mais contiennent des erreurs lorsqu\u2019on les examine de plus pr\u00e8s.<\/p>\n<p>\u00ab\u00a0En un mot, les LLM, tout comme les autres techniques d\u2019IA, sont imparfaits et donc font des erreurs\u00a0\u00bb, dit-il. \u00ab\u00a0Traditionnellement, nous acceptons que les syst\u00e8mes d\u2019IA fassent des erreurs car nous attendons et acceptons les imperfections. Mais c\u2019est plus nuanc\u00e9 lorsque les LLM font des erreurs.\u00a0\u00bb<\/p>\n<p>En effet, la r\u00e9ponse ne r\u00e9side probablement pas dans le fonctionnement technique des mod\u00e8les d\u2019IA g\u00e9n\u00e9rative. En ce qui concerne l'\u00a0\u00bbhallucination\u00a0\u00bb aujourd\u2019hui, il semble que la meilleure approche soit de consid\u00e9rer les pr\u00e9dictions des mod\u00e8les avec un regard sceptique.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":5394,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-5392","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/5392","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/comments?post=5392"}],"version-history":[{"count":0,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/posts\/5392\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media\/5394"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/media?parent=5392"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/categories?post=5392"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/de\/wp-json\/wp\/v2\/tags?post=5392"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}