Découvrez l’équipe de choc de Hugging Face qui développe des modèles d’IA ChatGPT-like à deux personnes seulement !

H4 : l’équipe dédiée au développement de chatbots AI

L’entreprise de démarrage en intelligence artificielle Hugging Face propose une large gamme d’outils de développement et d’hébergement en science des données, notamment un portail similaire à GitHub pour les dépôts de code AI, les modèles et les jeux de données, ainsi que des tableaux de bord Web pour présenter des applications alimentées par l’IA.

Cependant, certaines des meilleures et des plus performantes fonctionnalités de Hugging Face proviennent d’une équipe de deux personnes formée en janvier dernier.

Baptisée H4, qui signifie « helpful, honest, harmless and huggy » (serviable, honnête, inoffensif et câlin), cette équipe vise à développer des outils et des « recettes » permettant à la communauté de l’IA de créer des chatbots alimentés par l’IA, similaires à ChatGPT. En fait, la sortie de ChatGPT a été le catalyseur de la création de H4, selon Lewis Tunstall, ingénieur en apprentissage automatique chez Hugging Face et l’un des deux membres de H4.

« Lorsque ChatGPT a été lancé par OpenAI fin 2022, nous avons commencé à réfléchir à ce qu’il faudrait pour reproduire ses capacités avec des bibliothèques et des modèles open source », a déclaré Tunstall dans une interview par e-mail accordée à nous. « La recherche principale de H4 porte sur l’alignement, qui consiste essentiellement à apprendre aux LLM à se comporter en fonction des commentaires des humains (ou même d’autres IA). »

H4 est à l’origine d’un nombre croissant de modèles de langage open source, dont Zephyr-7B-α, une version axée sur les chats du modèle Mistral 7B récemment publié par la start-up française d’IA Mistral. H4 a également forké Falcon-40B, un modèle de l’Institut d’innovation technologique d’Abu Dhabi, en modifiant le modèle pour qu’il réponde de manière plus serviable aux demandes formulées en langage naturel.

Le rôle des modèles de H4

Pour former ses modèles, H4 s’appuie, comme d’autres équipes de recherche chez Hugging Face, sur un cluster dédié de plus de 1 000 GPU Nvidia A100. Tunstall et son collègue de H4, Ed Beeching, travaillent à distance en Europe, mais bénéficient du soutien de plusieurs équipes internes de Hugging Face, notamment l’équipe de test et d’évaluation des modèles.

« La petite taille de H4 est un choix délibéré, car cela nous permet d’être plus agiles et de nous adapter à un paysage de recherche en constante évolution », a déclaré Beeching dans un e-mail adressé à nous. « Nous avons également plusieurs collaborations externes avec des groupes tels que LMSYS et LlamaIndex, avec lesquels nous travaillons sur des publications conjointes. »

Récemment, H4 a étudié différentes techniques d’alignement et a développé des outils pour tester l’efficacité des techniques proposées par la communauté et l’industrie. Ce mois-ci, l’équipe a publié un manuel contenant l’ensemble du code source et des jeux de données utilisés pour construire Zephyr, et H4 prévoit de mettre à jour ce manuel avec le code de ses futurs modèles IA lors de leur sortie.

La commercialisation du travail de H4

J’ai demandé à Tunstall si H4 subissait une pression de la part de la direction de Hugging Face pour commercialiser son travail. Après tout, l’entreprise a levé des centaines de millions de dollars auprès d’un groupe d’investisseurs prestigieux, parmi lesquels Salesforce, IBM, AMD, Google, Amazon Intel et Nvidia. La dernière levée de fonds de Hugging Face l’a valorisée à 4,5 milliards de dollars, soit plus de 100 fois son chiffre d’affaires annuel, selon les rapports.

Tunstall a déclaré que H4 ne monétisait pas directement ses outils. Cependant, il a reconnu que les outils contribuaient au programme Expert Acceleration de Hugging Face, une offre axée sur les entreprises qui propose des conseils des équipes de Hugging Face pour construire des solutions IA personnalisées.

La contribution de H4 à la communauté de l’IA

Interrogé sur la concurrence entre H4 et d’autres initiatives d’IA open source, comme EleutherAI et LAION, Beeching a déclaré que ce n’était pas l’objectif de H4. Au contraire, il a affirmé que l’intention était d' »autonomiser » la communauté open AI en publiant le code d’entraînement et les jeux de données associés aux modèles de chat de H4.

« Notre travail ne serait pas possible sans les nombreuses contributions de la communauté », a déclaré Beeching.