Éclatez les scores avec MLCommons : des benchmarks IA explosifs pour vos laptops, desktops et workstations !

MLCommons lance des benchmarks de performance pour les PC grand public

Alors que l’intelligence artificielle (IA) migre de plus en plus du cloud vers les appareils, il est de plus en plus difficile de savoir si tel ou tel nouvel ordinateur portable exécutera une application alimentée par une IA générative plus rapidement que des ordinateurs portables en rayon concurrents, ou même que des ordinateurs de bureau ou des tout-en-un. Savoir cela pourrait faire la différence entre attendre quelques secondes pour générer une image et attendre quelques minutes – et comme on dit, le temps c’est de l’argent.

MLCommons, le groupe industriel derrière un certain nombre de normes de référence de matériel liées à l’IA, souhaite faciliter la comparaison des performances avec le lancement de benchmarks de performance destinés aux « systèmes clients », c’est-à-dire aux PC grand public.

Aujourd’hui, MLCommons a annoncé la formation d’un nouveau groupe de travail, MLPerf Client, dont l’objectif est d’établir des benchmarks d’IA pour les ordinateurs de bureau, les ordinateurs portables et les stations de travail fonctionnant sous Windows, Linux et d’autres systèmes d’exploitation. MLCommons promet que les benchmarks seront « axés sur les scénarios », en se concentrant sur de véritables cas d’utilisation de l’utilisateur final et « ancrent dans les retours de la communauté ».

Dans cette optique, le premier benchmark de MLPerf Client se concentrera sur les modèles de génération de texte, plus précisément le modèle Llama 2 de Meta, qui, comme l’a noté David Kanter, directeur exécutif de MLCommons, a déjà été intégré dans les autres suites de benchmarks de MLCommons pour le matériel de centre de données. Meta a également réalisé un travail approfondi sur Llama 2 avec Qualcomm et Microsoft pour optimiser Llama 2 pour Windows, ce qui profite grandement aux appareils fonctionnant sous Windows.

« Le moment est venu d’apporter MLPerf aux systèmes clients, car l’IA devient une partie attendue de l’informatique partout », a déclaré Kanter dans un communiqué de presse. « Nous sommes impatients de collaborer avec nos membres pour intégrer l’excellence de MLPerf dans les systèmes clients et développer de nouvelles capacités pour l’ensemble de la communauté. »

Les membres du groupe de travail MLPerf Client comprennent AMD, Arm, Asus, Dell, Intel, Lenovo, Microsoft, Nvidia et Qualcomm – mais pas Apple.

Apple n’est pas non plus membre de MLCommons, et un directeur de l’ingénierie de Microsoft (Yannis Minadakis) co-préside le groupe MLPerf Client – ce qui rend l’absence de l’entreprise pas tout à fait surprenante. Cependant, le résultat décevant est que quels que soient les benchmarks d’IA que MLPerf Client produira, ils ne seront pas testés sur les appareils Apple – du moins pas à court terme.

Cependant, je suis curieux de voir quels types de benchmarks et d’outils émergeront de MLPerf Client, avec ou sans prise en charge de macOS. En supposant que l’IA générative est là pour rester – et il n’y a aucune indication que la bulle est sur le point d’éclater prochainement – je ne serais pas surpris de voir ce type de métriques jouer un rôle de plus en plus important dans les décisions d’achat d’appareils.

Dans mon meilleur scénario, les benchmarks de MLPerf Client seront similaires aux nombreux outils de comparaison de configuration de PC en ligne, donnant une indication des performances d’IA que l’on peut attendre d’une machine particulière. Peut-être qu’ils s’étendront à l’avenir pour couvrir les téléphones et les tablettes, étant donné la participation de Qualcomm et d’Arm (qui sont tous deux fortement investis dans l’écosystème des appareils mobiles). Il est clair que nous en sommes aux premiers stades – mais espérons-le.