Découvrez l’outil révolutionnaire des Martiens qui réduit automatiquement les coûts en passant d’un LLM à un autre !

Des chercheurs en IA fondent une entreprise pour promouvoir la recherche fondamentale

Shriyash Upadhyay et Etan Ginsberg, chercheurs en IA à l’Université de Pennsylvanie, estiment que de nombreuses grandes entreprises d’IA sacrifient la recherche fondamentale au profit du développement de modèles d’IA compétitifs et puissants. Selon eux, la dynamique du marché pousse les entreprises à consacrer la majeure partie de leurs fonds à rester en avance sur leurs concurrents plutôt qu’à étudier les fondamentaux.

La recherche en IA rentable

« Au cours de nos recherches sur les LLM [à l’Université de Pennsylvanie], nous avons observé ces tendances préoccupantes dans l’industrie de l’IA », ont déclaré Upadhyay et Ginsberg dans une interview par courrier électronique à nous. « Le défi consiste à rendre la recherche en IA rentable. »

Les deux chercheurs ont pensé que la meilleure façon de relever ce défi pourrait être de fonder leur propre entreprise, une entreprise dont les produits bénéficieraient de l’interprétabilité. Ils ont hypothétisé que la mission de l’entreprise serait naturellement alignée sur la promotion de la recherche en interprétabilité plutôt que sur la recherche de capacités, ce qui permettrait d’obtenir de meilleures recherches.

Martian lève 9 millions de dollars pour la recherche en IA

Cette entreprise, Martian, est aujourd’hui sortie de l’ombre avec 9 millions de dollars de financement provenant d’investisseurs tels que NEA, Prosus Ventures, Carya Venture Partners et General Catalyst. Les fonds sont utilisés pour le développement de produits, la recherche sur les opérations internes des modèles et l’agrandissement de l’équipe de 10 personnes de Martian, selon Upadhyay et Ginsberg.

Le premier produit de Martian

Le premier produit de Martian est un « routeur de modèles », un outil qui prend une instruction destinée à un grand modèle de langage (LLM) – disons GPT-4 – et le route automatiquement vers le « meilleur » LLM. Par défaut, le routeur de modèles choisit le LLM avec le meilleur temps de disponibilité, compétences (par exemple, la résolution de problèmes mathématiques) et rapport coût-performance pour l’instruction en question.

« Les entreprises utilisent actuellement les LLM en choisissant un seul LLM pour chaque point de terminaison vers lequel elles envoient toutes leurs demandes », ont expliqué Upadhyay et Ginsberg. « Mais dans une tâche comme la création d’un site web, différents modèles seront mieux adaptés à une demande spécifique en fonction du contexte spécifié par l’utilisateur (quelle langue, quelles fonctionnalités, combien ils sont prêts à payer, etc.)… En utilisant une équipe de modèles dans une application, une entreprise peut obtenir de meilleures performances et des coûts plus faibles que n’importe quel LLM seul. »

Un meilleur rapport coût-performance

Il y a du vrai là-dedans. S’appuyer exclusivement sur un LLM haut de gamme comme GPT-4 peut être prohibitif en termes de coûts pour certaines entreprises, voire pour la plupart. Le PDG de Permutable.ai, une entreprise de renseignement sur le marché, a récemment révélé qu’il coûtait à l’entreprise plus d’un million de dollars par an pour traiter environ 2 millions d’articles par jour à l’aide de modèles haut de gamme d’OpenAI.

Toutes les tâches n’ont pas besoin de la puissance des modèles les plus chers, mais il peut être difficile de construire un système qui bascule intelligemment en cours de route. C’est là que Martian intervient, avec sa capacité à estimer les performances d’un modèle sans réellement l’exécuter.

« Martian peut router vers des modèles moins chers pour des demandes qui donnent des performances similaires aux modèles les plus chers, et ne router vers des modèles chers que lorsque c’est nécessaire », ont-ils ajouté. « Le routeur de modèles indexe les nouveaux modèles au fur et à mesure de leur sortie, les incorporant dans les applications sans aucune friction ou travail manuel nécessaire. »

L’adoption de Martian

Le routeur de modèles de Martian n’est pas une nouvelle technologie. Au moins une autre startup, Credal, propose un outil de commutation automatique de modèles. Son succès dépendra de la compétitivité de la tarification de Martian et de sa capacité à fonctionner dans des scénarios commerciaux à enjeux élevés.

Upadhyay et Ginsberg affirment qu’il y a déjà eu une certaine adoption, y compris parmi les entreprises « multinationales ».

« Construire un routeur de modèles vraiment efficace est extrêmement difficile car cela nécessite de développer une compréhension de la façon dont ces modèles fonctionnent fondamentalement », ont-ils déclaré. « C’est la percée que nous avons réalisée. »