{"id":10272,"date":"2024-02-04T16:24:01","date_gmt":"2024-02-04T14:24:01","guid":{"rendered":"https:\/\/toukiela.com\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/"},"modified":"2024-02-04T16:24:02","modified_gmt":"2024-02-04T14:24:02","slug":"decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer","status":"publish","type":"post","link":"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/","title":{"rendered":"D\u00e9couvrez les incroyables mod\u00e8les d&rsquo;IA de g\u00e9n\u00e9ration de texte, lib\u00e9r\u00e9s en open source par AI2, avec les donn\u00e9es utilis\u00e9es pour les entra\u00eener !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Contenido<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f1e3c15fa52\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f1e3c15fa52\"  aria-label=\"Alternar\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#LAllen_Institute_for_AI_AI2_publie_des_modeles_de_langage_GenAI_%C2%AB_ouverts_%C2%BB_et_accessibles_pour_les_developpeurs\" >L\u2019Allen Institute for AI (AI2) publie des mod\u00e8les de langage GenAI \u00ab\u00a0ouverts\u00a0\u00bb et accessibles pour les d\u00e9veloppeurs<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Un_cadre_ouvert_pour_etudier_lIA_generatrice_de_texte\" >Un cadre ouvert pour \u00e9tudier l\u2019IA g\u00e9n\u00e9ratrice de texte<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Des_modeles_reellement_ouverts\" >Des mod\u00e8les r\u00e9ellement ouverts<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Performances_et_limitations_des_modeles_OLMo\" >Performances et limitations des mod\u00e8les OLMo<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Un_cadre_en_evolution\" >Un cadre en \u00e9volution<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Les_preoccupations_concernant_lutilisation_malveillante_des_modeles_OLMo\" >Les pr\u00e9occupations concernant l\u2019utilisation malveillante des mod\u00e8les OLMo<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/toukiela.com\/es\/decouvrez-les-incroyables-modeles-dia-de-generation-de-texte-liberes-en-open-source-par-ai2-avec-les-donnees-utilisees-pour-les-entrainer\/#Des_modeles_OLMo_plus_grands_et_plus_performants_a_venir\" >Des mod\u00e8les OLMo plus grands et plus performants \u00e0 venir<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"LAllen_Institute_for_AI_AI2_publie_des_modeles_de_langage_GenAI_%C2%AB_ouverts_%C2%BB_et_accessibles_pour_les_developpeurs\"><\/span>L\u2019Allen Institute for AI (AI2) publie des mod\u00e8les de langage GenAI \u00ab\u00a0ouverts\u00a0\u00bb et accessibles pour les d\u00e9veloppeurs<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>L\u2019Allen Institute for AI (AI2), l\u2019institut de recherche en intelligence artificielle \u00e0 but non lucratif fond\u00e9 par le cofondateur de Microsoft, Paul Allen, met \u00e0 disposition plusieurs mod\u00e8les de langage GenAI qu\u2019il pr\u00e9tend \u00eatre plus \u00ab\u00a0ouverts\u00a0\u00bb que les autres \u2013 et surtout, sous licence de mani\u00e8re \u00e0 ce que les d\u00e9veloppeurs puissent les utiliser librement pour l\u2019entra\u00eenement, l\u2019exp\u00e9rimentation et m\u00eame la commercialisation.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_cadre_ouvert_pour_etudier_lIA_generatrice_de_texte\"><\/span>Un cadre ouvert pour \u00e9tudier l\u2019IA g\u00e9n\u00e9ratrice de texte<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Appel\u00e9s OLMo, acronyme de \u00ab\u00a0Open Language Models\u00a0\u00bb, les mod\u00e8les et l\u2019ensemble de donn\u00e9es utilis\u00e9 pour les former, Dolma \u2013 l\u2019un des plus grands ensembles de donn\u00e9es publics de ce genre \u2013 ont \u00e9t\u00e9 con\u00e7us pour \u00e9tudier la science de haut niveau derri\u00e8re l\u2019IA g\u00e9n\u00e9ratrice de texte, selon Dirk Groeneveld, ing\u00e9nieur logiciel principal chez AI2.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Des_modeles_reellement_ouverts\"><\/span>Des mod\u00e8les r\u00e9ellement ouverts<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Les mod\u00e8les de g\u00e9n\u00e9ration de texte en open source se multiplient, avec des organisations telles que Meta et Mistral qui publient des mod\u00e8les tr\u00e8s performants que tout d\u00e9veloppeur peut utiliser et affiner. Cependant, Groeneveld soutient que bon nombre de ces mod\u00e8les ne peuvent pas vraiment \u00eatre consid\u00e9r\u00e9s comme ouverts car ils ont \u00e9t\u00e9 entra\u00een\u00e9s \u00ab\u00a0\u00e0 huis clos\u00a0\u00bb et sur des ensembles de donn\u00e9es propri\u00e9taires et opaques.<\/p>\n<p>En revanche, les mod\u00e8les OLMo, cr\u00e9\u00e9s avec l\u2019aide de partenaires tels que Harvard, AMD et Databricks, sont livr\u00e9s avec le code qui a \u00e9t\u00e9 utilis\u00e9 pour produire leurs donn\u00e9es d\u2019entra\u00eenement, ainsi que les m\u00e9triques d\u2019entra\u00eenement et d\u2019\u00e9valuation.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Performances_et_limitations_des_modeles_OLMo\"><\/span>Performances et limitations des mod\u00e8les OLMo<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Le mod\u00e8le OLMo le plus performant, OLMo 7B, est une alternative \u00ab\u00a0convaincante et solide\u00a0\u00bb au mod\u00e8le Llama 2 de Meta, affirme Groeneveld \u2013 selon l\u2019application. Sur certains benchmarks, en particulier ceux touchant \u00e0 la compr\u00e9hension de lecture, OLMo 7B d\u00e9passe Llama 2. Mais sur d\u2019autres, en particulier les tests de questions-r\u00e9ponses, OLMo 7B est l\u00e9g\u00e8rement en retrait.<\/p>\n<p>Les mod\u00e8les OLMo ont d\u2019autres limitations, comme des sorties de faible qualit\u00e9 dans des langues autres que l\u2019anglais (Dolma contient principalement du contenu en anglais) et des capacit\u00e9s de g\u00e9n\u00e9ration de code faibles. Mais Groeneveld souligne qu\u2019il est encore t\u00f4t.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_cadre_en_evolution\"><\/span>Un cadre en \u00e9volution<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>\u201cOLMo n\u2019est pas encore con\u00e7u pour \u00eatre multilingue\u201d, d\u00e9clare-t-il. \u00ab\u00a0\u00c0 ce stade, l\u2019accent principal du cadre OLMo n\u2019\u00e9tait pas la g\u00e9n\u00e9ration de code, mais pour donner une longueur d\u2019avance aux futurs projets d\u2019affinage bas\u00e9s sur le code, le m\u00e9lange de donn\u00e9es d\u2019OLMo contient actuellement environ 15% de code.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Les_preoccupations_concernant_lutilisation_malveillante_des_modeles_OLMo\"><\/span>Les pr\u00e9occupations concernant l\u2019utilisation malveillante des mod\u00e8les OLMo<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>J\u2019ai demand\u00e9 \u00e0 Groeneveld s\u2019il \u00e9tait pr\u00e9occup\u00e9 par le fait que les mod\u00e8les OLMo, qui peuvent \u00eatre utilis\u00e9s commercialement et sont suffisamment performants pour fonctionner sur des GPU grand public tels que le Nvidia 3090, pourraient \u00eatre utilis\u00e9s de mani\u00e8re non intentionnelle et potentiellement malveillante par des acteurs malveillants. Une \u00e9tude r\u00e9cente du projet Disinfo Radar de Democracy Reporting International, qui vise \u00e0 identifier et \u00e0 contrer les tendances et les technologies de d\u00e9sinformation, a r\u00e9v\u00e9l\u00e9 que deux mod\u00e8les de g\u00e9n\u00e9ration de texte ouverts populaires, Zephyr de Hugging Face et Dolly de Databricks, g\u00e9n\u00e8rent de mani\u00e8re fiable du contenu toxique \u2013 en r\u00e9pondant \u00e0 des sollicitations malveillantes par du contenu pr\u00e9judiciable \u00ab\u00a0imaginatif\u00a0\u00bb.<\/p>\n<p>Groeneveld estime que les avantages l\u2019emportent sur les inconv\u00e9nients.<\/p>\n<p>\u00ab\u00a0Construire cette plateforme ouverte facilitera en fait davantage de recherches sur la mani\u00e8re dont ces mod\u00e8les peuvent \u00eatre dangereux et sur ce que nous pouvons faire pour les corriger\u00a0\u00bb, a-t-il d\u00e9clar\u00e9. \u00ab\u00a0Oui, il est possible que les mod\u00e8les ouverts soient utilis\u00e9s de mani\u00e8re inappropri\u00e9e ou \u00e0 des fins non intentionnelles. Cependant, cette approche favorise \u00e9galement les avanc\u00e9es techniques qui conduisent \u00e0 des mod\u00e8les plus \u00e9thiques ; elle est une condition pr\u00e9alable \u00e0 la v\u00e9rification et \u00e0 la reproductibilit\u00e9, car celles-ci ne peuvent \u00eatre r\u00e9alis\u00e9es qu\u2019avec un acc\u00e8s \u00e0 l\u2019ensemble complet ; et elle r\u00e9duit une concentration croissante du pouvoir, cr\u00e9ant ainsi un acc\u00e8s plus \u00e9quitable.\u00a0\u00bb<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Des_modeles_OLMo_plus_grands_et_plus_performants_a_venir\"><\/span>Des mod\u00e8les OLMo plus grands et plus performants \u00e0 venir<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Dans les mois \u00e0 venir, AI2 pr\u00e9voit de publier des mod\u00e8les OLMo plus grands et plus performants, y compris des mod\u00e8les multimodaux (c\u2019est-\u00e0-dire des mod\u00e8les qui comprennent des modalit\u00e9s autres que le texte), ainsi que des ensembles de donn\u00e9es suppl\u00e9mentaires pour l\u2019entra\u00eenement et l\u2019affinage. Comme pour la premi\u00e8re version d\u2019OLMo et Dolma, toutes les ressources seront mises \u00e0 disposition gratuitement sur GitHub et la plateforme d\u2019h\u00e9bergement de projets d\u2019IA Hugging Face.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":10274,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-10272","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/10272","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/comments?post=10272"}],"version-history":[{"count":1,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/10272\/revisions"}],"predecessor-version":[{"id":10273,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/posts\/10272\/revisions\/10273"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/media\/10274"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/media?parent=10272"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/categories?post=10272"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/es\/wp-json\/wp\/v2\/tags?post=10272"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}