Vera dévoile son projet choc : utiliser l’IA pour éradiquer les comportements les plus dérangeants des modèles génératifs !

Liz O’Sullivan et sa mission pour rendre l’IA plus sûre

Liz O’Sullivan est membre du comité consultatif national sur l’IA, qui rédige des recommandations à destination de la Maison Blanche et du Congrès sur la manière de favoriser l’adoption de l’IA tout en régulant ses risques. Pendant 12 ans, O’Sullivan a travaillé dans des start-ups spécialisées en IA, supervisant l’étiquetage des données, les opérations et la réussite des clients. En 2019, elle a rejoint le Surveillance Technology Oversight Project, lançant des campagnes pour protéger les libertés civiles des New-Yorkais, et a cofondé Arthur AI, une start-up qui collabore avec la société civile et le monde universitaire pour éclairer la « boîte noire » de l’IA.

Vera : une startup qui vise à sécuriser l’IA générative

Aujourd’hui, O’Sullivan se prépare pour sa prochaine entreprise avec Vera, une start-up qui développe une boîte à outils permettant aux entreprises d’établir des « politiques d’utilisation acceptables » pour l’IA générative – le type de modèles d’IA qui génèrent du texte, des images, de la musique, etc. – et d’appliquer ces politiques sur des modèles open source et personnalisés.

Un financement de 2,7 millions de dollars pour Vera

Vera vient de clôturer une levée de fonds de 2,7 millions de dollars, dirigée par Differential Venture Partners et avec la participation d’Essence VC, Everywhere VC, Betaworks, Greycroft et ATP Ventures. Cette nouvelle injection de liquidités, qui porte le total des fonds levés par Vera à 3,3 millions de dollars, servira à développer l’équipe de cinq personnes de Vera, à la recherche et développement et à l’expansion des déploiements en entreprise, selon O’Sullivan.

L’approche de Vera pour sécuriser l’IA générative

Vera tente d’identifier les risques liés aux entrées des modèles – par exemple, une demande comme « rédigez une lettre de motivation pour un poste d’ingénieur logiciel » à un modèle de génération de texte – et de bloquer, de censurer ou de transformer les requêtes qui pourraient contenir des informations personnelles, des informations de sécurité, des propriétés intellectuelles et des attaques par injection de requêtes. Vera place également des contraintes sur les réponses des modèles pour donner aux entreprises un plus grand contrôle sur le comportement de leurs modèles en production.

Les défis de l’adoption de l’IA générative pour les entreprises

Les entreprises rencontrent des défis, principalement liés à la conformité, lorsqu’elles adoptent des modèles d’IA générative. Elles craignent que leurs données confidentielles ne se retrouvent entre les mains des développeurs qui ont entraîné les modèles sur des données utilisateur. Récemment, des grandes entreprises telles qu’Apple, Walmart et Verizon ont interdit à leurs employés d’utiliser des outils tels que ChatGPT d’OpenAI. Les modèles offensants sont également préjudiciables pour la réputation des marques. Aucune entreprise ne souhaite que le modèle de génération de texte alimentant leur chatbot de service client profère des insultes raciales ou donne des conseils autodestructeurs.

Les concurrents de Vera sur le marché de la modération des modèles d’IA

Vera n’est pas la seule entreprise à proposer des solutions de modération de modèles sur le marché naissant de l’IA générative. Nvidia propose NeMo Guardrails et Salesforce propose Einstein Trust Layer, qui tentent tous deux d’empêcher les modèles de génération de texte de conserver ou de reproduire des données sensibles. Microsoft propose également un service d’IA pour modérer le contenu texte et image, y compris celui généré par des modèles. Par ailleurs, des start-ups telles que HiddenLayer, DynamoFL et Protect AI développent des outils pour défendre les modèles d’IA générative contre les attaques par injection de requêtes.

Les éventuelles limites de Vera

Même si Vera présente des avantages, il est important de noter que les modèles d’IA ne sont pas parfaits et sont sujets à de nombreux biais. Certains modèles d’IA destinés à détecter la toxicité dans le texte considèrent de manière disproportionnée comme « toxiques » les phrases en anglais vernaculaire afro-américain, la grammaire informelle utilisée par certains Afro-Américains. Par ailleurs, certains algorithmes de vision par ordinateur ont été découverts en train de qualifier de « pistolets » des thermomètres tenus par des personnes noires, alors qu’ils qualifiaient les thermomètres tenus par des sujets à la peau claire de « dispositifs électroniques ».

Conclusion

Même si Vera n’est pas infaillible, elle propose une approche globale pour lutter contre les menaces de l’IA générative. Si la technologie fonctionne comme annoncé, cela pourrait être attrayant pour les entreprises à la recherche d’une solution complète de modération de contenu et de lutte contre les attaques sur les modèles d’IA. Pour l’instant, Vera compte déjà quelques clients et a ouvert une liste d’attente pour d’autres entreprises intéressées. Selon O’Sullivan, Vera permet de débloquer les capacités de l’IA générative avec une application des politiques de sécurité qui peut être transférée non seulement aux modèles actuels, mais aussi aux modèles futurs, sans être dépendant d’un fournisseur unique.