Google dévoile des outils révolutionnaires pour booster le développement de modèles d’IA ouverts à tous !

Google dévoile plusieurs outils open source pour soutenir les projets d’IA générative

Dans une année typique, Cloud Next – l’une des deux principales conférences annuelles pour les développeurs de Google, l’autre étant I/O – présente presque exclusivement des produits et services gérés et autrement source fermée, protégés par des API verrouillées. Mais cette année, que ce soit pour favoriser la bonne volonté des développeurs ou pour faire avancer ses ambitions en matière d’écosystème (ou les deux), Google a lancé plusieurs outils open source principalement destinés à soutenir les projets et l’infrastructure d’IA générative.

MaxDiffusion : des modèles de diffusion open source pour les appareils XLA

Le premier outil, MaxDiffusion, que Google a en réalité lancé discrètement en février, est une collection de mises en œuvre de référence de différents modèles de diffusion – tels que le générateur d’images Stable Diffusion – qui s’exécutent sur des appareils XLA. « XLA » signifie Accelerated Linear Algebra, un acronyme maladroit qui fait référence à une technique qui optimise et accélère certains types de charges de travail d’IA, notamment le réglage fin et le service.

Les propres unités de traitement tensoriel (TPU) de Google sont des appareils XLA, tout comme les récentes GPU Nvidia.

JetStream : un moteur pour exécuter des modèles d’IA générative

En plus de MaxDiffusion, Google lance JetStream, un nouveau moteur pour exécuter des modèles d’IA générative – plus précisément des modèles de génération de texte (donc pas Stable Diffusion). Actuellement limité à la prise en charge des TPUs avec une compatibilité GPU qui devrait arriver à l’avenir, JetStream offre jusqu’à 3 fois plus de « performance par dollar » pour des modèles comme Gemma 7B de Google et Llama 2 de Meta, selon Google.

« Alors que les clients déploient leurs charges de travail d’IA en production, il y a une demande croissante pour une pile d’inférence rentable qui offre de hautes performances », a écrit Mark Lohmeyer, directeur général de l’informatique et de l’infrastructure d’apprentissage automatique de Google Cloud, dans un billet de blog partagé avec nous. « JetStream répond à ce besoin… et inclut des optimisations pour des modèles ouverts populaires tels que Llama 2 et Gemma. »

Maintenant, une amélioration de « 3x » est une affirmation assez importante, et il n’est pas exactement clair comment Google est parvenu à ce chiffre. En utilisant quelle génération de TPU ? Par rapport à quel moteur de référence ? Et comment est définie la « performance » ici, de toute façon ?

J’ai posé toutes ces questions à Google et je mettrai à jour cet article si j’obtiens une réponse.

MaxText : des modèles d’IA pour la génération de texte

L’avant-dernière contribution open source de Google concerne les nouvelles additions à MaxText, la collection de modèles d’IA pour la génération de texte ciblant les TPUs et les GPU Nvidia dans le cloud. MaxText inclut désormais Gemma 7B, GPT-3 d’OpenAI (le prédécesseur de GPT-4), Llama 2 et des modèles de la start-up en IA Mistral – tous ces modèles peuvent être personnalisés et ajustés aux besoins des développeurs, selon Google.

« Nous avons fortement optimisé [les modèles] sur les TPUs et nous avons également travaillé en étroite collaboration avec Nvidia pour optimiser les performances sur de grands clusters GPU », a déclaré Lohmeyer. « Ces améliorations maximisent l’utilisation des GPU et des TPUs, ce qui se traduit par une meilleure efficacité énergétique et une optimisation des coûts. »

Optimum TPU : faciliter l’utilisation des modèles d’IA générative sur TPU

Enfin, Google a collaboré avec Hugging Face, une start-up en IA, pour créer Optimum TPU, qui fournit des outils pour exécuter certaines charges de travail d’IA sur des TPUs. L’objectif est de réduire les obstacles à l’utilisation des modèles d’IA générative sur du matériel TPU, selon Google – en particulier les modèles de génération de texte.

Mais actuellement, Optimum TPU est un peu rudimentaire. Le seul modèle avec lequel il fonctionne est Gemma 7B. De plus, Optimum TPU ne prend pas encore en charge l’entraînement de modèles génératifs sur des TPUs, seulement leur exécution.

Google promet des améliorations à l’avenir.

Partagez votre avis

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.