Déployez efficacement vos LLMs en suivant ces 5 étapes cruciales pour les start-ups !

Les défis de la formation et du déploiement d’un LLM

Un problème lié à l’utilisation des LLM est leur coût d’exploitation considérable, car la demande de calcul pour les former et les exécuter est très intense (ils ne sont pas appelés « grands modèles de langage » pour rien).

Tout d’abord, le matériel nécessaire pour exécuter les modèles est coûteux. La carte graphique H100 de Nvidia, un choix populaire pour les LLM, se vend environ 40 000 $ par puce sur le marché secondaire. Une source estime qu’il faudrait environ 6 000 puces pour former un LLM comparable à ChatGPT-3.5. Cela représente environ 240 millions de dollars rien que pour les GPU.

Une autre dépense importante concerne l’alimentation de ces puces. On estime qu’il faut environ 10 gigawattheures (GWh) d’électricité pour former un modèle, soit la consommation électrique annuelle de 1 000 foyers américains. Une fois le modèle formé, le coût de l’électricité variera mais peut devenir exorbitant. Cette source estime que la consommation électrique pour exécuter ChatGPT-3.5 est d’environ 1 GWh par jour, soit la consommation énergétique quotidienne combinée de 33 000 foyers.

La consommation d’énergie peut également être un obstacle potentiel pour l’expérience utilisateur lors de l’exécution de LLM sur des appareils portables. En effet, une utilisation intensive de l’appareil peut rapidement vider sa batterie, ce qui constituerait un obstacle majeur à l’adoption par les consommateurs.

Les défis de formation et de déploiement d’un LLM

Les LLM sont des modèles de langage de grande envergure qui ont été lancés avec le lancement de ChatGPT. En plus des offres d’OpenAI, on trouve d’autres LLM comme la famille LaMDA de Google (y compris Bard), le projet BLOOM (une collaboration entre des groupes de Microsoft, Nvidia et d’autres organisations), LLaMA de Meta et Claude d’Anthropic.

Il en sera sans aucun doute créé d’autres. En fait, une enquête d’Arize réalisée en avril 2023 a révélé que 53 % des personnes interrogées prévoyaient de déployer des LLM dans l’année à venir, voire plus tôt. Une approche pour y parvenir consiste à créer un LLM « vertical » qui part d’un LLM existant et le réentraîne soigneusement sur des connaissances spécifiques à un domaine particulier. Cette tactique peut fonctionner pour les sciences de la vie, les produits pharmaceutiques, l’assurance, la finance et d’autres secteurs d’activité.

Déployer un LLM peut offrir un avantage concurrentiel puissant, à condition que cela soit bien fait.

Les LLM ont déjà posé des problèmes médiatisés, tels que leur tendance à « halluciner » des informations incorrectes. C’est un problème grave qui peut distraire les dirigeants des problèmes essentiels liés aux processus qui génèrent ces sorties, ce qui peut être tout aussi problématique.