IA Titans accordent une (minuscule) attention aux chercheurs en sécurité IA : vous ne devinerez jamais à quel point !

Un nouveau fonds de recherche sur l’évaluation des modèles d’IA

Le Frontier Model Forum, un organisme de l’industrie axé sur l’étude des modèles d’IA « frontières » tels que GPT-4 et ChatGPT, a annoncé aujourd’hui qu’il s’engageait à verser 10 millions de dollars pour un nouveau fonds visant à faire avancer la recherche sur les outils d’évaluation des modèles d’IA les plus performants.

Un soutien financier pour les chercheurs

Le fonds, selon le Frontier Model Forum – dont les membres incluent Anthropic, Google, Microsoft et OpenAI – soutiendra les chercheurs affiliés à des institutions académiques, des institutions de recherche et des startups. Le financement initial proviendra à la fois du Frontier Model Forum et de ses partenaires philanthropiques, la Patrick J. McGovern Foundation, la David and Lucile Packard Foundation, l’ancien PDG de Google Eric Schmidt et le milliardaire estonien Jaan Tallinn.

Administration du fonds

Le fonds sera administré par le Meridian Institute, une organisation à but non lucratif basée à Washington, D.C., qui lancera un appel à propositions « dans les prochains mois », selon le Frontier Model Forum. Le travail de l’Institut sera soutenu par un comité consultatif d’experts externes, d’experts des entreprises d’IA et de « personnes ayant une expérience en matière de financement de projets », a ajouté le Frontier Model Forum, sans préciser qui sont exactement ces experts et personnes ni la taille du comité consultatif en question.

Un appel à contributions

« Nous nous attendons à des contributions supplémentaires de la part d’autres partenaires », indique un communiqué de presse publié par le Frontier Model Forum sur plusieurs blogs officiels. « L’objectif principal du fonds sera de soutenir le développement de nouvelles évaluations et techniques de modélisation… afin de développer et de tester des techniques d’évaluation pour les capacités potentiellement dangereuses des systèmes frontières. »

Comparaison avec les investissements commerciaux

En effet, 10 millions de dollars ne sont pas négligeables. (Plus précisément, il s’agit de 10 millions de dollars de promesses – la David and Lucile Packard Foundation n’a pas encore officiellement engagé de financement.) Mais dans le contexte de la recherche sur la sécurité de l’IA, cela semble plutôt, eh bien, conservateur – du moins par rapport à ce que les membres du Frontier Model Forum ont dépensé pour leurs activités commerciales.

Cette année seulement, Anthropic a levé des milliards de dollars auprès d’Amazon pour développer un assistant IA de nouvelle génération, à la suite d’un investissement de 300 millions de dollars de Google. Microsoft a promis 10 milliards de dollars à OpenAI, et OpenAI – dont le chiffre d’affaires annuel dépasse largement 1 milliard de dollars – serait en pourparlers pour vendre des actions, ce qui porterait sa valorisation à près de 90 milliards de dollars.

Comparaison avec d’autres subventions de sécurité de l’IA

Le fonds est également petit par rapport à d’autres subventions de sécurité de l’IA. Open Philanthropy, la fondation de financement et de recherche cofondée par le fondateur de Facebook, Dustin Moskovitz, a fait don d’environ 307 millions de dollars pour la sécurité de l’IA, selon une analyse sur le blog Less Wrong. The Survival and Flourishing Fund, une société à but lucratif financée principalement par Tallinn, a donné environ 30 millions de dollars à des projets de sécurité de l’IA. Et la National Science Foundation des États-Unis a déclaré qu’elle dépenserait 20 millions de dollars pour la recherche sur la sécurité de l’IA au cours des deux prochaines années, avec le soutien de subventions d’Open Philanthropy.

Le coût élevé de la recherche sur la sécurité de l’IA

Les chercheurs en sécurité de l’IA ne formeront pas nécessairement des modèles de niveau GPT-4 à partir de zéro. Mais même des modèles plus petits et moins performants qu’ils pourraient souhaiter tester seraient coûteux à développer avec les équipements actuels, avec des coûts allant de centaines de milliers de dollars à des millions. Cela ne prend pas en compte les autres frais généraux, tels que les salaires des chercheurs. (Les data scientists ne sont pas bon marché.)

Un potentiel fonds plus important à l’avenir

Le Frontier Model Forum fait allusion à un fonds plus important à l’avenir. Si cela se concrétise, il pourrait avoir une chance de faire avancer la recherche sur la sécurité de l’IA – à condition que les promoteurs du fonds à but lucratif s’abstiennent d’exercer une influence indue sur la recherche. Mais quoi qu’il en soit, la tranche initiale semble bien trop limitée pour accomplir grand-chose.