EgoMimic veut apprendre aux robots en filmant les gestes depuis les yeux humains

Apprendre à un robot à ranger un objet paraît simple tant que l’on ne regarde pas le détail du geste. Il faut repérer l’objet, décider où le saisir, coordonner les deux mains, éviter les obstacles et relâcher au bon endroit. Pour accomplir cette succession d’actions dans des environnements variés, un robot a besoin de démonstrations nombreuses et pertinentes. Or les collecter directement avec une machine est long, coûteux et parfois difficile.

C’est à ce problème que s’attaque EgoMimic, un cadre présenté en novembre 2024 par des chercheurs du Georgia Institute of Technology. Son idée est de partir de ce que les humains font déjà très bien : réaliser des tâches manuelles du quotidien. En filmant ces gestes depuis le point de vue de la personne qui agit, plutôt que depuis une caméra extérieure, le projet cherche à produire des données plus proches de la perception qu’un robot peut avoir de sa propre action.

Pourquoi l’apprentissage par imitation a besoin de données

L’apprentissage par imitation consiste, pour un système d’intelligence artificielle, à apprendre une tâche en observant des exemples. Dans le cas de la robotique, ces exemples associent généralement une perception, comme une image ou une vidéo, à une action : déplacer un bras, fermer une pince, saisir un objet ou le déposer.

L’approche est particulièrement intéressante pour les gestes qu’il serait malaisé de programmer ligne par ligne. Écrire à la main toutes les règles permettant de prendre un objet de forme inconnue, avec une prise incertaine ou dans un espace encombré, devient vite très complexe. Des démonstrations peuvent alors fournir au système une base d’apprentissage plus concrète.

Mais les données de démonstration restent le nerf de la guerre. Faire répéter une tâche à un bras robotique suppose de mobiliser du matériel, de sécuriser l’environnement et de superviser chaque essai. Les vidéos humaines sont beaucoup plus faciles à obtenir, mais elles ne se traduisent pas automatiquement en commandes pour un robot : une main humaine, avec ses doigts et sa mobilité, ne fonctionne pas comme une pince ou un manipulateur à deux bras.

Deux difficultés se cumulent donc :

• la caméra qui filme un humain ne voit pas forcément la scène comme les capteurs installés sur un robot ;
• les gestes observés doivent être adaptés à une mécanique différente, dotée d’autres articulations et d’autres contraintes.

EgoMimic, des démonstrations vues à la première personne

EgoMimic propose une réponse à ce déficit de données en misant sur la vision égocentrique, c’est-à-dire une vidéo captée depuis le point de vue de l’exécutant. Au lieu de placer une caméra fixe face à une personne, le système utilise les lunettes Project Aria, développées par Meta Reality Labs Research. La scène enregistrée correspond ainsi au regard de la personne qui réalise l’action.

Cette différence de cadrage est importante. Une caméra extérieure montre le corps entier ou une grande partie de la pièce, mais elle ne reproduit pas nécessairement ce qu’un robot voit lorsqu’il se penche vers un objet. Une vue depuis la tête rend davantage visibles les mains, la zone de travail et la séquence de manipulation au premier plan.

Le cadre est présenté comme une plateforme évolutive de collecte de vidéos de tâches manuelles humaines. Il ne s’agit donc pas seulement de filmer : EgoMimic vise à rendre ces démonstrations mobilisables dans un apprentissage robotique. Les données humaines et robotiques sont envisagées dans un même processus d’entraînement, afin d’enrichir les exemples disponibles pour le système.

Comment relier les mains humaines aux bras robotiques ?

Le passage de l’humain au robot est le point technique central du projet. EgoMimic s’appuie sur un manipulateur bimanuel optimisé pour mesurer la différence cinématique entre les actions humaines et celles du robot. La cinématique désigne ici la façon dont un corps ou une machine peut bouger selon ses articulations, ses longueurs de segments et ses limites mécaniques.

Cette mise en relation est nécessaire car imiter visuellement un geste ne veut pas dire pouvoir le reproduire à l’identique. Une personne peut tourner son poignet, écarter ses doigts ou changer de prise avec une finesse que ne possède pas forcément le robot. À l’inverse, une pince robotique peut exercer une force ou suivre une trajectoire qui ne correspond pas exactement à un mouvement naturel de la main.

Les caméras Intel RealSense installées sur les bras permettent au robot de percevoir la tâche depuis sa propre perspective. L’enjeu est alors de minimiser l’écart visuel entre la démonstration humaine filmée avec les lunettes et ce que voit le système robotique pendant l’exécution. Plus ces deux perceptions sont comparables, plus les données humaines ont de chances de devenir utiles au robot.

Le texte de présentation d’EgoMimic mentionne également un suivi des mains en 3D. Cette information complète la vidéo : elle aide à décrire non seulement l’apparence d’un geste, mais aussi son organisation spatiale. Pour une tâche de manipulation, savoir qu’une main s’approche d’un objet, le saisit puis le déplace vers une destination est aussi important que l’image elle-même.

Des essais de rangement et de manipulation bimanuel

Les expérimentations décrites ont été menées en laboratoire. Les robots ont été entraînés sur des tâches de manipulation comprenant le ramassage et le rangement d’objets. Un scénario cité consiste à apprendre à un robot à collecter un jouet puis à le placer dans un bol.

Ce type de tâche est révélateur des difficultés de la manipulation robotique. Il ne suffit pas de détecter le jouet : le bras doit l’atteindre sans le faire tomber, choisir une prise adaptée, le transporter et le relâcher dans un contenant. Quand deux bras interviennent, la coordination ajoute une difficulté supplémentaire, notamment lorsqu’un bras stabilise un objet pendant que l’autre agit.

Selon les résultats rapportés pour EgoMimic, le cadre obtient de meilleures performances que les techniques précédentes d’apprentissage par imitation dans ces tâches de manipulation, en particulier dans les actions bimanuelles. Les éléments présentés ne précisent toutefois pas de taux de réussite chiffré. Il faut donc comprendre la démonstration comme un résultat expérimental prometteur, et non comme la preuve qu’un robot peut déjà reproduire sans difficulté tous les gestes domestiques.

Ce que change la vue égocentrique par rapport aux vidéos classiques

L’intérêt de la vue à la première personne ne se résume pas à changer l’emplacement de la caméra. Elle modifie les informations mises en avant dans la démonstration. Dans une séquence tournée depuis les yeux de la personne, l’objet ciblé, les mains et l’espace immédiat de travail sont généralement au centre de l’image. C’est précisément la zone qui compte pour une action de préhension ou de rangement.

Une caméra extérieure conserve néanmoins des atouts : elle peut montrer la posture globale, le déplacement d’une personne dans une pièce ou les interactions avec un environnement plus large. EgoMimic ne fait donc pas disparaître l’intérêt des autres points de vue. Il propose surtout de mieux exploiter un type de données jusque-là difficile à raccorder aux observations d’un robot.

Cette piste répond à un besoin de diversité. Un robot entraîné avec peu de démonstrations risque de n’apprendre qu’une version très précise d’un geste, dans un décor donné, avec un objet donné. Des vidéos humaines plus nombreuses peuvent exposer l’algorithme à des variations de prises, de positions et d’objets. La généralisation, c’est-à-dire la capacité de réussir une tâche dans une situation non rencontrée pendant l’entraînement, reste toutefois l’un des grands défis de la discipline.

Quels usages peut-on envisager ?

Les tâches citées par le projet se situent dans l’univers des manipulations quotidiennes : saisir, déplacer, ranger et déposer des objets. À plus long terme, ce type de collecte pourrait servir à constituer des jeux de données pour des activités comme la préparation d’aliments, le rangement ou la manipulation d’ustensiles, à condition de disposer de démonstrations suffisamment variées et d’un robot adapté.

L’enjeu dépasse le seul foyer. Dans des laboratoires, des ateliers ou des espaces de formation, apprendre à des robots à partir de gestes humains pourrait réduire le temps nécessaire pour préparer des exemples. Les bénéfices réels dépendront cependant de la robustesse hors du laboratoire : éclairage variable, objets imprévus, désordre, surfaces instables ou présence de personnes sont autant de situations qui compliquent l’exécution.

La collecte par lunettes soulève aussi une question pratique de confidentialité. Une caméra portée peut enregistrer des personnes, des lieux ou des objets qui ne participent pas à l’expérience. Dans tout déploiement concret, la collecte, le stockage et l’utilisation de ces images devraient donc être encadrés avec attention, notamment par l’information des personnes filmées et la limitation des données nécessaires.

Ce qu’il faut surveiller pour la suite

Les chercheurs ont rendu disponibles les modèles et le code d’EgoMimic sur GitHub. Cette ouverture peut permettre à d’autres équipes de tester le cadre, de le reproduire et de l’adapter à d’autres plateformes robotiques. C’est un élément important dans un domaine où les résultats dépendent fortement du matériel employé, des objets manipulés et de la manière dont les données sont recueillies.

La prochaine étape sera de vérifier si la méthode conserve ses avantages lorsque les tâches deviennent plus longues, les objets plus variés et les environnements moins contrôlés. Il faudra aussi mesurer dans quelle mesure les démonstrations issues de personnes différentes aident réellement un robot à généraliser, plutôt qu’à mémoriser un contexte particulier.

Au 30 novembre 2024, EgoMimic illustre surtout une orientation forte de la robotique contemporaine : pour doter les machines de compétences manuelles plus souples, les chercheurs cherchent à apprendre des gestes humains tels qu’ils sont réellement accomplis. La perspective égocentrique apporte une pièce intéressante à ce puzzle, en rapprochant le regard de la personne qui agit de celui de la machine qui devra, ensuite, essayer de l’imiter.