IA révolutionnaire cherche à résoudre les problèmes du modèle GenAI en sollicitant l’aide de tous !

GenAI et ses hallucinations problématiques

La semaine dernière, Microsoft et Google ont fourni un exemple de la façon dont GenAI peut déclarer un vainqueur du Super Bowl avant même que le match ne commence. Cependant, les véritables problèmes commencent lorsque les hallucinations de GenAI deviennent nuisibles, en soutenant la torture, en renforçant les stéréotypes ethniques et raciaux et en écrivant de manière persuasive sur les théories du complot.

Les offres de produits pour contrer les hallucinations de GenAI

De plus en plus de fournisseurs, des géants comme Nvidia et Salesforce aux startups comme CalypsoAI, proposent des produits qui prétendent pouvoir atténuer les contenus toxiques indésirables générés par GenAI. Cependant, ces produits sont des boîtes noires, et il est impossible de savoir comment ils se comparent les uns aux autres et s’ils tiennent réellement leurs promesses, à moins de les tester individuellement.

Guardrails AI : une solution pour gérer les risques de déploiement d’IA

Shreya Rajpal a identifié ce problème majeur et a fondé une entreprise, Guardrails AI, dans le but de le résoudre. Selon elle, de nombreuses organisations luttent pour déployer de manière responsable des applications d’IA et ont du mal à trouver la meilleure solution. Elles finissent souvent par réinventer la roue pour gérer les risques qui leur sont importants.

Les freins à l’adoption de GenAI

Des enquêtes suggèrent que la complexité, et par extension le risque, est l’un des principaux obstacles à l’adoption de GenAI par les organisations. Une enquête récente de la société Cnvrg.io, filiale d’Intel, a révélé que la conformité et la confidentialité, la fiabilité, le coût élevé de la mise en œuvre et le manque de compétences techniques étaient des préoccupations partagées par environ un quart des entreprises mettant en œuvre des applications GenAI. Dans une autre enquête de Riskonnect, un fournisseur de logiciels de gestion des risques, plus de la moitié des dirigeants ont déclaré craindre que les employés prennent des décisions basées sur des informations inexactes provenant d’outils GenAI.

Guardrails AI : une approche différente

Guardrails AI se distingue des autres acteurs du marché par son modèle économique open source. Le code de la plateforme de la startup est disponible gratuitement sur GitHub. La société adopte également une approche participative en permettant aux développeurs de soumettre des composants modulaires appelés « validateurs » qui examinent les modèles GenAI pour vérifier certains comportements, critères de conformité et de performance. Ces validateurs peuvent être déployés, réutilisés et adaptés par d’autres développeurs et clients de Guardrails, servant ainsi de blocs de construction pour des solutions personnalisées de modération des modèles GenAI.

Le Hub de Guardrails : un forum ouvert pour partager des connaissances

Le Hub de Guardrails permet aux développeurs de découvrir les types de risques auxquels d’autres entreprises sont confrontées et les mesures qu’elles mettent en place pour résoudre ces problèmes. Les validateurs sont une implémentation open source de ces mesures que les organisations peuvent appliquer à leurs cas d’utilisation spécifiques.

Le financement de Guardrails AI et les projets open source

Guardrails AI, qui ne facture pas encore de services ou de logiciels, a récemment levé 7,5 millions de dollars lors d’un tour de financement de démarrage mené par Zetta Venture Partners, avec la participation de Factory, Pear VC, Bloomberg Beta, GitHub Fund et de personnalités telles que l’expert en IA Ian Goodfellow. Selon Shreya Rajpal, les fonds seront utilisés pour développer l’équipe de six personnes de Guardrails et pour d’autres projets open source.

La fondatrice de Guardrails AI affirme que de nombreuses personnes, des grandes entreprises aux petites startups et aux développeurs individuels, sont bloquées dans le déploiement d’applications GenAI en raison du manque de garanties et de mesures d’atténuation des risques nécessaires. Elle souhaite résoudre ce problème qui n’existait pas à cette échelle auparavant, en raison de l’avènement de ChatGPT et des modèles fondamentaux.