Découvrez les produits IA les plus populaires jugés dangereux pour les enfants par Common Sense Media !

Des outils d’IA populaires jugés dangereux pour les enfants

Une revue indépendante d’outils d’IA populaires a révélé que de nombreux outils, dont My AI de Snapchat, DALLE et Stable Diffusion, pourraient ne pas être sûrs pour les enfants. Ces nouvelles évaluations proviennent de Common Sense Media, un groupe de défense à but non lucratif pour les familles, connu pour fournir des évaluations des médias aux parents qui souhaitent évaluer les applications, les jeux, les podcasts, les émissions de télévision, les films et les livres que leurs enfants consomment. Plus tôt cette année, l’entreprise a déclaré qu’elle ajouterait bientôt des évaluations pour les produits d’IA à ses ressources pour les familles. Aujourd’hui, ces évaluations sont disponibles, offrant des « étiquettes nutritionnelles » pour les produits d’IA, tels que les chatbots et les générateurs d’images.

Évaluation des produits d’IA

En juillet, l’entreprise a annoncé son intention de mettre en place un système de notation pour évaluer les produits d’IA selon plusieurs critères, notamment l’utilisation de pratiques d’IA responsables et leur adaptabilité aux enfants. Cette décision a été prise à la suite d’une enquête auprès des parents pour évaluer leur intérêt pour un tel service. 82% des parents ont déclaré vouloir de l’aide pour évaluer si les nouveaux produits d’IA, comme ChatGPT, étaient sûrs pour leurs enfants. Seulement 40% ont déclaré connaître des ressources fiables pour les aider à prendre ces décisions.

Cela a conduit au lancement des premières évaluations des produits d’IA de Common Sense Media. Les produits sont évalués selon plusieurs principes d’IA, tels que la confiance, la sécurité des enfants, la confidentialité, la transparence, la responsabilité, l’apprentissage, l’équité, les connexions sociales et les avantages pour les personnes et la société.

Les résultats de l’évaluation

L’organisation a d’abord examiné 10 applications populaires sur une échelle de 5 points, notamment celles utilisées pour l’apprentissage, les chatbots d’IA comme Bard et ChatGPT, ainsi que les produits d’IA générative, comme My AI de Snap et DALL-E. Sans surprise, cette dernière catégorie a obtenu les résultats les plus mauvais.

Tracy Pizzo-Frey, conseillère principale en IA chez Common Sense Media, a déclaré : « L’IA n’est pas toujours correcte, ni neutre en termes de valeurs. Toute IA générative, par le fait que les modèles sont entraînés sur de grandes quantités de données Internet, contient une grande variété de biais culturels, raciaux, socio-économiques, historiques et de genre – et c’est exactement ce que nous avons constaté dans nos évaluations. Nous espérons que nos évaluations encourageront les développeurs à mettre en place des protections limitant la propagation de la désinformation et à faire leur part pour protéger les générations futures des conséquences involontaires. »

Dans les tests de Toukiela, il a été constaté que les fonctionnalités d’IA génératives de My AI de Snapchat étaient généralement plus étranges et aléatoires que réellement dangereuses. Cependant, Common Sense Media a donné au chatbot d’IA une note de 2 étoiles, notant qu’il produisait parfois des réponses renforçant des préjugés injustes liés à l’âgisme, au sexisme et aux stéréotypes culturels. Il a également offert des réponses inappropriées et des inexactitudes. De plus, il stockait des données personnelles des utilisateurs, ce qui soulevait des problèmes de confidentialité.

Snap a réagi à la mauvaise évaluation en soulignant que My AI était un outil facultatif et que Snapchat précisait qu’il s’agissait d’un chatbot et conseillait les utilisateurs sur ses limitations.

D’autres modèles d’IA génératifs, tels que DALL-E et Stable Diffusion, présentaient des risques similaires, notamment une tendance à l’objectification et à la sexualisation des femmes et des filles, ainsi qu’un renforcement des stéréotypes de genre, entre autres préoccupations.

Ces modèles d’IA génératifs sont également utilisés pour produire du contenu pornographique. Des sites tels que Hugging Face et Civitai sont devenus populaires non seulement en tant que ressources pour trouver de nouveaux modèles d’images, mais aussi en facilitant la recherche de différents modèles pouvant être combinés pour créer du contenu pornographique utilisant l’apparence de quelqu’un (comme une célébrité). Cette question a été soulevée récemment par 404Media, qui a pointé du doigt les capacités de Civitai. Le débat sur la responsabilité de ces pratiques continue sur des sites comme Hacker News.

Les chatbots d’IA

Dans la catégorie intermédiaire des évaluations de Common Sense, on retrouve des chatbots d’IA tels que Bard de Google, ChatGPT et Toddle AI. L’organisation a averti que ces chatbots pouvaient également présenter des biais, notamment pour les utilisateurs issus de « milieux et de dialectes diversifiés ». Ils pouvaient également produire des informations inexactes ou des hallucinations d’IA et renforcer les stéréotypes. Common Sense a averti que les fausses informations produites par l’IA pouvaient façonner la vision du monde des utilisateurs et rendre encore plus difficile la distinction entre les faits et la fiction.

OpenAI a réagi aux nouvelles évaluations en soulignant les exigences d’âge pour les utilisateurs de ses produits.

« Nous nous soucions profondément de la sécurité et de la confidentialité de tous ceux qui utilisent nos outils, y compris les jeunes, c’est pourquoi nous avons mis en place des mesures de sécurité strictes pour ChatGPT et permettons aux utilisateurs de choisir quand leurs conversations sont utilisées pour améliorer nos modèles », a déclaré Kayla Wood, porte-parole d’OpenAI. « Nous demandons aux utilisateurs âgés de 13 à 17 ans d’obtenir le consentement de leurs parents pour utiliser nos outils et nous n’autorisons pas les enfants de moins de 13 ans à utiliser nos services », a-t-elle ajouté.

Les produits d’IA pour l’éducation

Les seuls produits d’IA à avoir reçu de bonnes évaluations sont l’assistant de lecture d’IA et le service de livraison de livres d’Ello, Khanmingo (de Khan Academy) et le tuteur d’IA de Kyron Learning, tous trois étant des produits d’IA conçus à des fins éducatives. Ils sont moins connus que les autres (et, selon certains enfants, moins amusants). Cependant, parce que les entreprises les ont conçus en pensant à une utilisation par les enfants, ils ont tendance à utiliser des pratiques d’IA responsables et à se concentrer sur l’équité, la représentation diversifiée et la convivialité pour les enfants. Ils sont également plus transparents concernant leurs politiques de confidentialité des données.

Common Sense Media continuera de publier des évaluations et des critiques des nouveaux produits d’IA de manière régulière, dans l’espoir d’informer non seulement les parents et les familles, mais aussi les législateurs et les régulateurs. Selon James P. Steyer, fondateur et PDG de Common Sense Media, « les consommateurs doivent avoir accès à une étiquette nutritionnelle claire pour les produits d’IA qui pourraient compromettre la sécurité et la confidentialité de tous les Américains, mais surtout des enfants et des adolescents. Si le gouvernement ne parvient pas à « sécuriser » l’IA, les entreprises technologiques profiteront de cet environnement non réglementé au détriment de notre confidentialité des données, de notre bien-être et de notre démocratie en général ».

Mise à jour du 16 novembre 2023 à 16h18 avec les commentaires d’OpenAI.