Expérience incroyable : l’IA incarnée fait tourner un stylo et nettoie le salon dans une nouvelle étude étonnante !

Meta et Nvidia enseignent à leurs systèmes d’IA à interagir avec le monde réel grâce à des simulations

La capacité des systèmes d’intelligence artificielle (IA) à écrire des sonnets ou à faire des reprises de chansons de Nirvana à la manière de Homer Simpson est impressionnante. Cependant, pour que ces systèmes soient acceptés par tous, ils doivent être capables de faire quelque chose de plus pratique. C’est pourquoi Meta et Nvidia ont mis au point des techniques permettant à leurs systèmes d’IA d’apprendre à effectuer des tâches concrètes, allant de tours de magie avec un stylo à des tâches ménagères collaboratives.

L’utilisation de simulations pour apprendre à maîtriser le monde réel

Le monde réel est complexe, désordonné et lent. Les agents d’IA qui apprennent à contrôler des robots et à effectuer des tâches, comme ouvrir un tiroir et y mettre quelque chose, doivent répéter cette tâche des centaines, voire des milliers de fois. Cela prendrait des jours, mais si on leur fait faire cette tâche dans une simulation raisonnablement réaliste du monde réel, ils peuvent apprendre à la réaliser presque aussi bien en seulement une ou deux minutes.

Nvidia a ajouté une couche d’automatisation supplémentaire à l’utilisation de simulations en appliquant un modèle de langage avancé pour aider à écrire le code d’apprentissage par renforcement qui guide une IA naïve dans l’amélioration d’une tâche. Ils appellent cela Evolution-driven Universal REward Kit for Agent, ou EUREKA. Ce modèle a montré une grande efficacité lorsqu’il s’agit d’apprendre à un agent à trier des objets par couleur, par exemple. Il est même capable d’itérer sur son propre code, s’améliorant au fur et à mesure et se généralisant à différentes applications.

L’utilisation de cette technique permet aux agents d’IA de réaliser des tâches virtuelles de dextérité et de locomotion avec succès. Par exemple, ils peuvent utiliser des ciseaux assez efficacement. Cependant, faire fonctionner ces actions dans le monde réel reste un défi différent. Malgré cela, cela démontre que Nvidia ne se contente pas de parler d’IA générative, mais qu’ils la mettent réellement en pratique.

Nouveaux habitats pour les futurs compagnons robots

Meta s’intéresse également à l’IA incarnée et a annoncé plusieurs avancées dans ce domaine. Ils ont d’abord présenté une nouvelle version de leur ensemble de données « Habitat ». Cette version améliorée propose des environnements 3D quasi-photoréalistes et soigneusement annotés, dans lesquels un agent d’IA peut se déplacer. L’objectif de Meta est de rendre ces environnements virtuels plus accessibles et plus faciles à utiliser.

La version 2.0 de Habitat, sortie ultérieurement, propose plus d’environnements interactifs et physiquement réalistes. Meta a également constitué une bibliothèque d’objets pouvant peupler ces environnements, ce qui s’est avéré être une approche intéressante pour de nombreuses entreprises d’IA.

La dernière version, Habitat 3.0, permet aux avatars humains de partager l’espace avec le robot grâce à la réalité virtuelle (VR). Cela signifie que des personnes ou des agents formés à imiter le comportement humain peuvent interagir avec le robot ou l’environnement en même temps. Cette capacité est cruciale, car elle permet par exemple de former un robot à nettoyer le salon en transportant des assiettes de la table basse à la cuisine et en mettant les vêtements éparpillés dans un panier à linge. Avec un agent humain dans l’espace, le robot peut effectuer cette tâche des milliers de fois en quelques secondes et apprendre à travailler avec ou autour de l’agent humain.

Meta appelle cette tâche de nettoyage « réaménagement social » et une autre tâche importante est la « navigation sociale ». Il s’agit pour le robot de suivre discrètement une personne, par exemple pour rester à portée de voix ou pour assurer sa sécurité, comme un petit robot qui accompagne une personne à la salle de bain à l’hôpital.

Meta a également développé une nouvelle pile logicielle de simulation de robots, appelée HomeRobot, pour les robots Spot de Boston Dynamics et Stretch de Hello Robot. Leur objectif est de standardiser certains logiciels de navigation et de manipulation de base, afin de permettre aux chercheurs de se concentrer sur des aspects plus innovants dans ce domaine.

Les ensembles de données Habitat et HomeRobot sont disponibles sous licence MIT sur les pages GitHub correspondantes, et HSSD-200 est disponible sous licence Creative Commons non commerciale. Les chercheurs sont donc invités à les utiliser et à les explorer.