Les super robots domestiques peuvent se remettre d’erreurs sans aide humaine grâce aux incroyables modèles linguistiques !

Les difficultés des robots domestiques

Les robots domestiques ont du mal à trouver du succès après le Roomba pour de nombreuses raisons. Le prix, la praticité, la forme et la cartographie ont tous contribué à des échecs successifs. Même lorsque certains ou tous ces problèmes sont résolus, il reste la question de ce qu’il se passe lorsque le système commet une erreur inévitable.

Les problèmes de programmation et d’intervention humaine

Ce problème est également présent à un niveau industriel, mais les grandes entreprises ont les ressources nécessaires pour résoudre les problèmes au fur et à mesure qu’ils se présentent. Cependant, nous ne pouvons pas demander aux consommateurs d’apprendre à programmer ou d’embaucher quelqu’un à chaque fois qu’un problème survient. Heureusement, les grands modèles de langage (LLMs) sont très utiles dans le domaine de la robotique, comme le démontre une nouvelle recherche du MIT.

Une nouvelle approche grâce aux LLMs

Une étude qui sera présentée à la Conférence internationale sur les représentations d’apprentissage (ICLR) en mai prétend apporter un peu de « bon sens » dans le processus de correction des erreurs.

« Il s’avère que les robots sont d’excellents imitateurs », explique l’école. « Mais à moins que les ingénieurs ne les programment également pour s’adapter à chaque choc et à chaque coup, les robots ne savent pas nécessairement comment gérer ces situations, à moins de recommencer leur tâche depuis le début. »

Traditionnellement, lorsqu’un robot rencontre des problèmes, il épuise ses options préprogrammées avant de nécessiter l’intervention humaine. Cela pose un défi particulier dans un environnement non structuré comme une maison, où de nombreux changements peuvent avoir un impact négatif sur la capacité d’un robot à fonctionner.

Les chercheurs derrière l’étude notent que bien que l’apprentissage par imitation (apprendre à effectuer une tâche par observation) soit populaire dans le monde de la robotique domestique, il ne peut souvent pas tenir compte des innombrables variations environnementales qui peuvent perturber le fonctionnement régulier, obligeant ainsi le système à recommencer depuis le début. Les nouvelles recherches abordent ce problème en divisant les démonstrations en sous-ensembles plus petits, au lieu de les considérer comme une action continue.

C’est là que les LLM entrent en jeu, éliminant la nécessité pour le programmeur de labelliser et d’assigner manuellement les nombreux sous-actions.

« Les LLM ont une façon de vous dire comment effectuer chaque étape d’une tâche, dans un langage naturel. La démonstration continue d’un humain est l’incarnation de ces étapes, dans l’espace physique », explique l’étudiant diplômé Tsun-Hsuan Wang. « Et nous voulions relier les deux, de sorte qu’un robot sache automatiquement à quelle étape il se trouve dans une tâche, et qu’il puisse replanifier et récupérer de lui-même. »

La démonstration et l’auto-correction du système

La démonstration particulière présentée dans l’étude consiste à entraîner un robot à ramasser des billes et à les verser dans un bol vide. C’est une tâche simple et répétable pour les humains, mais pour les robots, c’est une combinaison de différentes petites tâches. Les LLM sont capables de lister et d’étiqueter ces sous-tâches. Lors des démonstrations, les chercheurs ont saboté l’activité de petites manières, en déviant le robot de sa trajectoire et en faisant tomber des billes de sa cuillère. Le système a répondu en corrigeant lui-même les petites tâches, plutôt que de recommencer depuis le début.

« Avec notre méthode, lorsque le robot fait des erreurs, nous n’avons pas besoin de demander aux humains de programmer ou de donner des démonstrations supplémentaires sur la façon de se remettre des échecs », ajoute Wang.

C’est une méthode convaincante pour éviter de perdre complètement la boule.