Les premières impressions de Google’s Gemini sont loin d’être géniales – Découvrez pourquoi !

Google dévoile Gemini, son nouveau modèle d’IA générative

Cette semaine, Google a présenté Gemini, son nouveau modèle d’IA générative phare destiné à alimenter une gamme de produits et de services, dont Bard, concurrent de ChatGPT de Google. Dans des articles de blog et des supports de presse, Google a vanté l’architecture et les capacités supérieures de Gemini, affirmant que le modèle répond ou dépasse les performances d’autres modèles d’IA générative de premier plan tels que GPT-4 d’OpenAI.

Les frustrations des utilisateurs de Bard face à Gemini Pro

Une version « lite » de Gemini, Gemini Pro, a commencé à être déployée sur Bard hier, et il n’a pas fallu longtemps avant que les utilisateurs ne commencent à exprimer leur frustration à ce sujet sur X (anciennement Twitter).

Le modèle échoue à fournir des informations de base correctes, comme les gagnants des Oscars 2023 :

Il est à noter que Gemini Pro affirme à tort que Brendan Gleeson a remporté le prix du meilleur acteur l’année dernière, et non Brendan Fraser, le véritable gagnant.

J’ai essayé de poser la même question au modèle et, bizarrement, il a donné une réponse fausse différente :

« Navalny », et non « All the Beauty and the Bloodshed », a remporté le prix du meilleur documentaire l’année dernière ; « All Quiet on the Western Front » a remporté le prix du meilleur film international ; « Women Talking » a remporté le prix du meilleur scénario adapté ; et « Pinocchio » a remporté le prix du meilleur film d’animation. C’est beaucoup d’erreurs.

L’auteur de science-fiction Charlie Stross a trouvé de nombreux autres exemples de confabulation dans un récent billet de blog. (Entre autres mensonges, Gemini Pro affirme que Stross a contribué au noyau Linux ; ce n’est jamais le cas.)

La traduction ne semble pas être le point fort de Gemini Pro non plus. Il peine à donner un mot de six lettres en français :

Lorsque j’ai posé la même question à Bard (« Pouvez-vous me donner un mot de six lettres en français ? »), Gemini Pro a répondu avec un mot de sieben lettres au lieu de cinq, ce qui donne du crédit aux rapports sur les mauvaises performances multilingues de Gemini.

Les limites de Gemini Pro dans la synthèse d’informations

Et pour résumer les actualités ? Gemini Pro, avec Google Search et Google News à sa disposition, peut-il donner un récapitulatif de quelque chose d’actuel ? Pas nécessairement.

Il semble que Gemini Pro soit réticent à commenter les sujets d’actualité potentiellement controversés, préférant dire aux utilisateurs… de chercher eux-mêmes sur Google.

J’ai essayé la même requête et j’ai obtenu une réponse très similaire. En revanche, ChatGPT fournit un résumé sous forme de liste à puces avec des citations d’articles de presse :

Fait intéressant, Gemini Pro a effectivement fourni un résumé des mises à jour sur la guerre en Ukraine lorsque je lui ai demandé. Cependant, les informations étaient obsolètes depuis plus d’un mois.

Google a souligné les compétences de codage améliorées de Gemini lors d’un briefing plus tôt cette semaine. Il est peut-être réellement amélioré dans certains domaines – des publications sur X le suggèrent. Mais il semble également que Gemini Pro ait du mal avec des fonctions de codage de base comme celle-ci en Python :

Et aussi :

Et, comme tous les modèles d’IA générative, Gemini Pro n’est pas à l’abri des « jailbreaks » – c’est-à-dire des requêtes qui contournent les filtres de sécurité mis en place pour empêcher la discussion de sujets controversés.

En utilisant une méthode automatisée pour modifier algorithmiquement le contexte des requêtes jusqu’à ce que les garde-fous de Gemini Pro échouent, les chercheurs en sécurité de l’IA chez Robust Intelligence, une start-up vendant des outils d’audit de modèles, ont réussi à obtenir de Gemini Pro des suggestions pour voler une association caritative et assassiner une personnalité de haut niveau (même si c’était avec des « nanobots » – il faut admettre que ce n’est pas le choix d’arme le plus réaliste).

Les promesses non tenues de Gemini Pro

Maintenant, Gemini Pro n’est pas la version la plus performante de Gemini – ce modèle, Gemini Ultra, devrait être lancé l’année prochaine dans Bard et d’autres produits. Google a comparé les performances de Gemini Pro à celles du prédécesseur de GPT-4, GPT-3.5, un modèle qui a environ un an.

Mais Google a néanmoins promis des améliorations dans le raisonnement, la planification et la compréhension avec Gemini Pro par rapport au modèle précédent alimentant Bard, affirmant que Gemini Pro était meilleur pour résumer le contenu, brainstormer et écrire. Il est clair qu’il a encore du travail à faire dans ces domaines.