Découvrez les secrets de construction des LLMs en Chine révélés par un membre du personnel d’Alibaba !

Les entreprises technologiques chinoises se rassemblent pour combler leur retard par rapport à OpenAI

Les entreprises technologiques chinoises rassemblent toutes sortes de ressources et de talents pour combler leur retard par rapport à OpenAI, et les expériences des chercheurs des deux côtés de l’océan Pacifique peuvent être étonnamment similaires. Un récent message X d’un chercheur d’Alibaba offre un rare aperçu de la vie du développement de grands modèles de langage au sein de la société de commerce électronique, qui fait partie d’un ensemble de géants de l’internet chinois qui s’efforcent de rivaliser avec les capacités de ChatGPT.

Un aperçu parallèle de leur journée type révèle des similitudes frappantes

Binyuan Hui, un chercheur en traitement du langage naturel de l’équipe de grands modèles de langage de Qwen d’Alibaba, a partagé son emploi du temps quotidien sur X, reflétant ainsi le message d’un chercheur d’OpenAI, Jason Wei, qui est devenu viral récemment.

Les similitudes frappantes apparaissent dans le fait de se lever à 9 heures du matin et de se coucher vers 1 heure du matin. Les deux commencent la journée par des réunions, suivies d’une période de codage, de formation de modèles et de brainstorming avec leurs collègues. Même après être rentrés chez eux, ils continuent à faire des expériences la nuit et à réfléchir aux moyens d’améliorer leurs modèles jusqu’au coucher.

Différences notables dans la façon de caractériser le temps libre

Les différences notables se trouvent dans la façon dont ils choisissent de caractériser leur temps libre. Hui, l’employé d’Alibaba, a mentionné la lecture d’articles de recherche et la consultation de X pour se tenir au courant de « ce qui se passe dans le monde ». Et comme l’a souligné un commentateur, Hui ne boit pas un verre de vin en rentrant chez lui, contrairement à Wei.

Un régime de travail intense dans le domaine des LLM en Chine

Ce régime de travail intense n’est pas inhabituel dans l’espace actuel des LLM en Chine, où les talents technologiques dotés de diplômes universitaires de premier plan rejoignent en masse les entreprises technologiques pour développer des modèles d’IA compétitifs.

Une volonté de surpasser les entreprises de la Silicon Valley

Dans une certaine mesure, l’emploi du temps exigeant de Hui semble refléter une volonté personnelle de rivaliser (ou du moins d’apparaître ainsi sur les réseaux sociaux) avec les entreprises de la Silicon Valley dans le domaine de l’IA. Cela semble différent des horaires de travail « 996 » involontaires associés à des types d’entreprises internet chinoises plus « traditionnelles » qui impliquent des opérations lourdes, comme les jeux vidéo et le commerce électronique.

Des affichages extérieurs d’une éthique de travail intense

Des affichages extérieurs d’une éthique de travail intense témoignent de l’urgence des missions définies par les entreprises technologiques du pays, et par conséquent de la rapidité avec laquelle ces entreprises déploient désormais des LLM.

Alibaba et son modèle multilingue

Alibaba, par exemple, a publié en open source une série de modèles de base entraînés avec des données en anglais et en chinois. Le nombre de paramètres – un chiffre qui témoigne des connaissances que le modèle acquiert à partir des données d’entraînement historiques et qui définit sa capacité à générer des réponses contextuellement pertinentes – est de 72 milliards pour le plus grand d’entre eux. (Pour mettre cela en contexte, on estime que GPT3 d’OpenAI en a 175 milliards ; GPT4, son dernier LLM, en a 1,7 billion. Cependant, on peut soutenir que l’objectif d’un LLM particulier sera la clé la plus importante pour décoder la valeur de ces grands nombres de paramètres.)

La concurrence dans l’espace des LLM en Chine

Aucun leader définitif ne s’est encore imposé dans l’espace des LLM en Chine, et les sociétés de capital-risque et les investisseurs d’entreprise répartissent leurs paris sur plusieurs concurrents. Outre la construction de son propre LLM en interne, Alibaba investit activement dans des start-ups telles que Moonshot AI, Zhipu AI, Baichuan et 01.AI.

Alibaba se démarque en devenant multilingue

Face à la concurrence, Alibaba tente de se démarquer et son initiative multilingue pourrait devenir un argument de vente. En décembre, l’entreprise a lancé un LLM pour plusieurs langues d’Asie du Sud-Est. Appelé SeaLLM, ce modèle est capable de traiter des informations en vietnamien, indonésien, thaï, malais, khmer, laotien, tagalog et birman. Grâce à son activité de cloud computing et à l’acquisition de la plateforme de commerce électronique Lazada, Alibaba a une empreinte considérable dans la région et peut éventuellement introduire SeaLLM dans ces services à l’avenir.