Le chatbot d’IA de Snap sous le feu des projecteurs au Royaume-Uni : inquiétudes concernant la vie privée des enfants !

Le chatbot AI de Snap suscite l’inquiétude de l’ICO

L’AI chatbot de Snap a attiré l’attention de l’ICO, l’organisme de protection des données du Royaume-Uni, qui s’inquiète du risque que l’outil représente pour la vie privée des enfants.

L’ICO émet un avis préliminaire d’application des règles contre Snap

L’ICO a annoncé aujourd’hui qu’elle a émis un avis préliminaire d’application des règles contre Snap en raison d’un « éventuel manquement à l’évaluation appropriée des risques pour la vie privée posés par le chatbot AI génératif ‘My AI' ».

Les préoccupations de l’ICO concernant la vie privée des enfants

L’action de l’ICO ne constitue pas une conclusion de violation. Cependant, l’avis indique que le régulateur britannique s’inquiète du fait que Snap n’ait peut-être pas pris les mesures nécessaires pour garantir que le produit est conforme aux règles de protection des données, qui, depuis 2021, incluent le code de conception pour enfants.

Le risque insuffisamment évalué par Snap

« L’enquête de l’ICO a provisoirement révélé que l’évaluation des risques pour la protection des données réalisée par Snap avant le lancement de ‘My AI’ ne prenait pas suffisamment en compte les risques posés par la technologie AI générative, en particulier pour les enfants », a écrit le régulateur dans un communiqué de presse. « L’évaluation des risques pour la protection des données est particulièrement importante dans ce contexte, qui implique l’utilisation d’une technologie innovante et le traitement de données personnelles d’enfants âgés de 13 à 17 ans ».

La réponse de Snap à l’avis de l’ICO

Snap aura maintenant la possibilité de répondre aux préoccupations du régulateur avant que l’ICO ne prenne une décision définitive sur une éventuelle violation des règles par l’entreprise.

Les préoccupations de l’information commissioner

« Les conclusions provisoires de notre enquête indiquent un échec inquiétant de la part de Snap à identifier et évaluer correctement les risques pour la vie privée des enfants et des autres utilisateurs avant le lancement de ‘My AI' », a déclaré John Edwards, le commissaire à l’information, dans une déclaration. « Nous avons été clairs sur le fait que les organisations doivent prendre en compte les risques liés à l’IA, en plus des avantages. L’avis préliminaire d’application des règles d’aujourd’hui montre que nous prendrons des mesures pour protéger les droits à la vie privée des consommateurs britanniques. »

Le lancement du chatbot AI de Snap

Snap a lancé le chatbot AI génératif en février, bien qu’il ne soit arrivé au Royaume-Uni qu’en avril, en utilisant la technologie du modèle de langage large (LLM) ChatGPT d’OpenAI pour alimenter un bot qui était épinglé en haut du flux des utilisateurs pour agir comme un ami virtuel à qui on pouvait demander des conseils ou envoyer des snaps.

Les fonctionnalités et les outils de protection de Snap

La société a déclaré que le chatbot avait été développé avec des fonctionnalités de modération et de protection supplémentaires, notamment la prise en compte de l’âge par défaut, afin de garantir que le contenu généré soit approprié pour l’utilisateur. Le bot est également programmé pour éviter les réponses violentes, haineuses, sexuellement explicites ou offensantes. De plus, les outils de protection parentale de Snap permettent aux parents de savoir si leur enfant a communiqué avec le bot au cours des sept derniers jours, via la fonctionnalité Family Center.

Les problèmes et les critiques du chatbot AI de Snap

Cependant, malgré les garde-fous annoncés, il y a eu des rapports de dérapages du bot. Dans une première évaluation en mars, le Washington Post a rapporté que le chatbot avait recommandé des moyens de masquer l’odeur de l’alcool après avoir appris que l’utilisateur avait 15 ans. Dans un autre cas, lorsqu’il a été dit que l’utilisateur avait 13 ans et qu’il a demandé comment se préparer à avoir des relations sexuelles pour la première fois, le bot a répondu avec des suggestions pour « rendre cela spécial » en créant une ambiance avec des bougies et de la musique.

Les régulateurs européens et les chatbots AI

Il n’est pas rare de voir les régulateurs européens s’intéresser aux chatbots AI. En février, l’autorité italienne, Garante, a ordonné à Replika, le fabricant basé à San Francisco d’un « service d’amitié virtuelle », de cesser de traiter les données des utilisateurs locaux, citant également des préoccupations concernant les risques pour les mineurs. L’autorité italienne a également émis une ordonnance similaire concernant l’outil ChatGPT d’OpenAI le mois suivant. Le lancement régional du chatbot Bard de Google a également été retardé après que son principal régulateur régional de la vie privée, la Commission de protection des données d’Irlande, ait exprimé des inquiétudes. Il a été lancé dans l’UE en juillet, après l’ajout de plus de divulgations et de contrôles, mais un groupe de travail réglementaire mis en place au sein du Comité européen de la protection des données continue d’évaluer la manière d’appliquer le règlement général sur la protection des données (RGPD) de l’UE sur les chatbots AI génératifs, y compris ChatGPT et Bard.

Les recommandations des régulateurs en matière de protection des données

Les régulateurs du G7, dont la France, l’Allemagne, l’Italie et le Royaume-Uni, ont adopté cet été une déclaration dans laquelle ils ont énuméré les principaux domaines de préoccupation concernant ces outils, tels que le fondement juridique du traitement des données personnelles, y compris celles des mineurs. Ils ont également affirmé que les développeurs et les fournisseurs devraient intégrer la protection de la vie privée dans la conception, la conception, le fonctionnement et la gestion de nouveaux produits et services utilisant les technologies AI génératives, sur la base du concept de « Protection de la vie privée dès la conception », et documenter leurs choix et leurs analyses dans une évaluation de l’impact sur la vie privée.

La vigilance des régulateurs

Les régulateurs sont plus publics que d’habitude concernant leurs actions vis-à-vis des chatbots AI génératifs, en les transformant en avertissements publics, même s’ils réfléchissent à la meilleure façon d’appliquer les règles de protection de la vie privée existantes sur les LLM. Cependant, ils agissent avec prudence et évitent de prendre des décisions d’application réelles pour le moment.