{"id":11087,"date":"2024-02-29T00:40:27","date_gmt":"2024-02-28T22:40:27","guid":{"rendered":"https:\/\/toukiela.com\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/"},"modified":"2024-02-29T00:40:28","modified_gmt":"2024-02-28T22:40:28","slug":"decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba","status":"publish","type":"post","link":"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/","title":{"rendered":"D\u00e9couvrez les secrets de construction des LLMs en Chine r\u00e9v\u00e9l\u00e9s par un membre du personnel d&rsquo;Alibaba !"},"content":{"rendered":"<p><em><\/em><\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Contents<\/p>\n<label for=\"ez-toc-cssicon-toggle-item-69f1da70518f5\" class=\"ez-toc-cssicon-toggle-label\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/label><input type=\"checkbox\"  id=\"ez-toc-cssicon-toggle-item-69f1da70518f5\"  aria-label=\"Toggle\" \/><nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Les_entreprises_technologiques_chinoises_se_rassemblent_pour_combler_leur_retard_par_rapport_a_OpenAI\" >Les entreprises technologiques chinoises se rassemblent pour combler leur retard par rapport \u00e0 OpenAI<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Un_apercu_parallele_de_leur_journee_type_revele_des_similitudes_frappantes\" >Un aper\u00e7u parall\u00e8le de leur journ\u00e9e type r\u00e9v\u00e8le des similitudes frappantes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Differences_notables_dans_la_facon_de_caracteriser_le_temps_libre\" >Diff\u00e9rences notables dans la fa\u00e7on de caract\u00e9riser le temps libre<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Un_regime_de_travail_intense_dans_le_domaine_des_LLM_en_Chine\" >Un r\u00e9gime de travail intense dans le domaine des LLM en Chine<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Une_volonte_de_surpasser_les_entreprises_de_la_Silicon_Valley\" >Une volont\u00e9 de surpasser les entreprises de la Silicon Valley<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Des_affichages_exterieurs_dune_ethique_de_travail_intense\" >Des affichages ext\u00e9rieurs d\u2019une \u00e9thique de travail intense<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Alibaba_et_son_modele_multilingue\" >Alibaba et son mod\u00e8le multilingue<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#La_concurrence_dans_lespace_des_LLM_en_Chine\" >La concurrence dans l\u2019espace des LLM en Chine<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/toukiela.com\/en\/decouvrez-les-secrets-de-construction-des-llms-en-chine-reveles-par-un-membre-du-personnel-dalibaba\/#Alibaba_se_demarque_en_devenant_multilingue\" >Alibaba se d\u00e9marque en devenant multilingue<\/a><\/li><\/ul><\/nav><\/div>\n<h2><span class=\"ez-toc-section\" id=\"Les_entreprises_technologiques_chinoises_se_rassemblent_pour_combler_leur_retard_par_rapport_a_OpenAI\"><\/span>Les entreprises technologiques chinoises se rassemblent pour combler leur retard par rapport \u00e0 OpenAI<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Les entreprises technologiques chinoises rassemblent toutes sortes de ressources et de talents pour combler leur retard par rapport \u00e0 OpenAI, et les exp\u00e9riences des chercheurs des deux c\u00f4t\u00e9s de l\u2019oc\u00e9an Pacifique peuvent \u00eatre \u00e9tonnamment similaires. Un r\u00e9cent message X d\u2019un chercheur d\u2019Alibaba offre un rare aper\u00e7u de la vie du d\u00e9veloppement de grands mod\u00e8les de langage au sein de la soci\u00e9t\u00e9 de commerce \u00e9lectronique, qui fait partie d\u2019un ensemble de g\u00e9ants de l\u2019internet chinois qui s\u2019efforcent de rivaliser avec les capacit\u00e9s de ChatGPT.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_apercu_parallele_de_leur_journee_type_revele_des_similitudes_frappantes\"><\/span>Un aper\u00e7u parall\u00e8le de leur journ\u00e9e type r\u00e9v\u00e8le des similitudes frappantes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Binyuan Hui, un chercheur en traitement du langage naturel de l\u2019\u00e9quipe de grands mod\u00e8les de langage de Qwen d\u2019Alibaba, a partag\u00e9 son emploi du temps quotidien sur X, refl\u00e9tant ainsi le message d\u2019un chercheur d\u2019OpenAI, Jason Wei, qui est devenu viral r\u00e9cemment.<\/p>\n<p><\/p>\n<p>Les similitudes frappantes apparaissent dans le fait de se lever \u00e0 9 heures du matin et de se coucher vers 1 heure du matin. Les deux commencent la journ\u00e9e par des r\u00e9unions, suivies d\u2019une p\u00e9riode de codage, de formation de mod\u00e8les et de brainstorming avec leurs coll\u00e8gues. M\u00eame apr\u00e8s \u00eatre rentr\u00e9s chez eux, ils continuent \u00e0 faire des exp\u00e9riences la nuit et \u00e0 r\u00e9fl\u00e9chir aux moyens d\u2019am\u00e9liorer leurs mod\u00e8les jusqu\u2019au coucher.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Differences_notables_dans_la_facon_de_caracteriser_le_temps_libre\"><\/span>Diff\u00e9rences notables dans la fa\u00e7on de caract\u00e9riser le temps libre<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Les diff\u00e9rences notables se trouvent dans la fa\u00e7on dont ils choisissent de caract\u00e9riser leur temps libre. Hui, l\u2019employ\u00e9 d\u2019Alibaba, a mentionn\u00e9 la lecture d\u2019articles de recherche et la consultation de X pour se tenir au courant de \u00ab\u00a0ce qui se passe dans le monde\u00a0\u00bb. Et comme l\u2019a soulign\u00e9 un commentateur, Hui ne boit pas un verre de vin en rentrant chez lui, contrairement \u00e0 Wei.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Un_regime_de_travail_intense_dans_le_domaine_des_LLM_en_Chine\"><\/span>Un r\u00e9gime de travail intense dans le domaine des LLM en Chine<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Ce r\u00e9gime de travail intense n\u2019est pas inhabituel dans l\u2019espace actuel des LLM en Chine, o\u00f9 les talents technologiques dot\u00e9s de dipl\u00f4mes universitaires de premier plan rejoignent en masse les entreprises technologiques pour d\u00e9velopper des mod\u00e8les d\u2019IA comp\u00e9titifs.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Une_volonte_de_surpasser_les_entreprises_de_la_Silicon_Valley\"><\/span>Une volont\u00e9 de surpasser les entreprises de la Silicon Valley<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Dans une certaine mesure, l\u2019emploi du temps exigeant de Hui semble refl\u00e9ter une volont\u00e9 personnelle de rivaliser (ou du moins d\u2019appara\u00eetre ainsi sur les r\u00e9seaux sociaux) avec les entreprises de la Silicon Valley dans le domaine de l\u2019IA. Cela semble diff\u00e9rent des horaires de travail \u00ab\u00a0996\u00a0\u00bb involontaires associ\u00e9s \u00e0 des types d\u2019entreprises internet chinoises plus \u00ab\u00a0traditionnelles\u00a0\u00bb qui impliquent des op\u00e9rations lourdes, comme les jeux vid\u00e9o et le commerce \u00e9lectronique.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Des_affichages_exterieurs_dune_ethique_de_travail_intense\"><\/span>Des affichages ext\u00e9rieurs d\u2019une \u00e9thique de travail intense<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Des affichages ext\u00e9rieurs d\u2019une \u00e9thique de travail intense t\u00e9moignent de l\u2019urgence des missions d\u00e9finies par les entreprises technologiques du pays, et par cons\u00e9quent de la rapidit\u00e9 avec laquelle ces entreprises d\u00e9ploient d\u00e9sormais des LLM.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Alibaba_et_son_modele_multilingue\"><\/span>Alibaba et son mod\u00e8le multilingue<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Alibaba, par exemple, a publi\u00e9 en open source une s\u00e9rie de mod\u00e8les de base entra\u00een\u00e9s avec des donn\u00e9es en anglais et en chinois. Le nombre de param\u00e8tres \u2013 un chiffre qui t\u00e9moigne des connaissances que le mod\u00e8le acquiert \u00e0 partir des donn\u00e9es d\u2019entra\u00eenement historiques et qui d\u00e9finit sa capacit\u00e9 \u00e0 g\u00e9n\u00e9rer des r\u00e9ponses contextuellement pertinentes \u2013 est de 72 milliards pour le plus grand d\u2019entre eux. (Pour mettre cela en contexte, on estime que GPT3 d\u2019OpenAI en a 175 milliards ; GPT4, son dernier LLM, en a 1,7 billion. Cependant, on peut soutenir que l\u2019objectif d\u2019un LLM particulier sera la cl\u00e9 la plus importante pour d\u00e9coder la valeur de ces grands nombres de param\u00e8tres.)<\/p>\n<h2><span class=\"ez-toc-section\" id=\"La_concurrence_dans_lespace_des_LLM_en_Chine\"><\/span>La concurrence dans l\u2019espace des LLM en Chine<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Aucun leader d\u00e9finitif ne s\u2019est encore impos\u00e9 dans l\u2019espace des LLM en Chine, et les soci\u00e9t\u00e9s de capital-risque et les investisseurs d\u2019entreprise r\u00e9partissent leurs paris sur plusieurs concurrents. Outre la construction de son propre LLM en interne, Alibaba investit activement dans des start-ups telles que Moonshot AI, Zhipu AI, Baichuan et 01.AI.<\/p>\n<h2><span class=\"ez-toc-section\" id=\"Alibaba_se_demarque_en_devenant_multilingue\"><\/span>Alibaba se d\u00e9marque en devenant multilingue<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><\/p>\n<p>Face \u00e0 la concurrence, Alibaba tente de se d\u00e9marquer et son initiative multilingue pourrait devenir un argument de vente. En d\u00e9cembre, l\u2019entreprise a lanc\u00e9 un LLM pour plusieurs langues d\u2019Asie du Sud-Est. Appel\u00e9 SeaLLM, ce mod\u00e8le est capable de traiter des informations en vietnamien, indon\u00e9sien, tha\u00ef, malais, khmer, laotien, tagalog et birman. Gr\u00e2ce \u00e0 son activit\u00e9 de cloud computing et \u00e0 l\u2019acquisition de la plateforme de commerce \u00e9lectronique Lazada, Alibaba a une empreinte consid\u00e9rable dans la r\u00e9gion et peut \u00e9ventuellement introduire SeaLLM dans ces services \u00e0 l\u2019avenir.<\/p>","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":11089,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":""},"categories":[608],"tags":[],"class_list":["post-11087","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actualite-intelligence-artificielle","generate-columns","tablet-grid-50","mobile-grid-100","grid-parent","grid-50"],"_links":{"self":[{"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/posts\/11087","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/comments?post=11087"}],"version-history":[{"count":1,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/posts\/11087\/revisions"}],"predecessor-version":[{"id":11088,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/posts\/11087\/revisions\/11088"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/media\/11089"}],"wp:attachment":[{"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/media?parent=11087"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/categories?post=11087"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/toukiela.com\/en\/wp-json\/wp\/v2\/tags?post=11087"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}