RHyME : des robots qui apprennent à agir en regardant une seule vidéo

Montrer une fois comment vider une tasse dans un évier, puis laisser une machine retrouver les gestes pertinents pour le faire elle-même : l’idée paraît simple pour un humain, mais elle demeure difficile en robotique. Les chercheurs de l’Université Cornell proposent une piste avec RHyME, un système qui s’appuie sur des vidéos explicatives et sur les expériences antérieures du robot pour lui apprendre de nouvelles manipulations avec bien moins de données qu’auparavant.

Le nom complet, Retrieval for Hybrid Imitation under Mismatched Execution, décrit le problème auquel s’attaque cette méthode. Un humain peut montrer une action de manière souple, rapide et intuitive. Un bras robotisé, lui, possède une autre morphologie, des articulations différentes, des capteurs et des contraintes propres. Il ne peut donc pas simplement recopier image par image le mouvement filmé. RHyME cherche à faire le pont entre ce qu’il voit et ce qu’il est réellement capable d’exécuter.

Pourquoi l’entraînement des robots est-il si coûteux ?

Pour qu’un robot accomplisse une tâche de manière fiable, il faut traditionnellement lui fournir un grand nombre d’exemples. Une voie courante consiste à recourir à la télé-opération : un opérateur commande le robot à distance, enregistre ses mouvements, puis répète l’exercice dans des configurations variées. Le robot apprend ainsi à relier ce que ses caméras perçoivent aux gestes à effectuer.

Cette méthode est utile, mais elle pose un problème d’échelle. Un robot qui n’a vu que quelques cas très contrôlés risque de se retrouver démuni dès qu’un objet est légèrement déplacé, qu’un outil tombe ou que l’environnement diffère de celui de l’entraînement. Pour couvrir ces imprévus, il faudrait accumuler énormément de démonstrations. Sanjiban Choudhury, professeur assistant en informatique à Cornell, souligne que les approches actuelles peuvent exiger des milliers d’heures de télé-opération, un coût difficilement soutenable pour multiplier rapidement les compétences.

L’enjeu ne consiste donc pas seulement à programmer une tâche précise. Il s’agit de permettre au robot de reconnaître qu’une situation nouvelle ressemble, par certains aspects, à une expérience qu’il connaît déjà. C’est cette capacité de rapprochement qui rend l’apprentissage humain si efficace : une personne n’a pas besoin de revoir des centaines de fois le même geste pour transposer une méthode à un nouvel objet ou à une nouvelle disposition.

RHyME, une mémoire d’actions plutôt qu’une simple copie vidéo

RHyME ne suppose pas qu’une vidéo humaine fournisse à elle seule toutes les instructions motrices nécessaires à un robot. Son principe est plus nuancé. Face à une démonstration, le système recherche dans la mémoire du robot des actions déjà réalisées qui présentent des ressemblances utiles avec les différentes étapes observées.

Prenons le cas évoqué par les chercheurs : une vidéo montre une personne qui prend une tasse sur un comptoir et la place dans un évier. Le bras, la main et la trajectoire de cette personne ne correspondent pas exactement à ceux d’un robot. Mais celui-ci peut avoir déjà appris à saisir un objet, à le déplacer, à le positionner à proximité d’un évier ou à le déposer. RHyME l’aide à retrouver ces morceaux d’expérience et à les mobiliser pour approcher l’objectif montré dans la vidéo.

Le terme « hybrid imitation » renvoie à cette combinaison entre l’exemple humain nouvellement visionné et les démonstrations robotiques disponibles dans la mémoire du système. Le terme « mismatched execution » désigne, lui, le décalage inévitable entre l’exécution humaine et l’exécution mécanique. Plutôt que d’ignorer ce décalage, la méthode le place au cœur de son fonctionnement.

Kushal Kedia, doctorant en informatique et impliqué dans ces travaux, met ainsi en avant une évidence de l’apprentissage quotidien : les humains observent les autres pour acquérir des savoir-faire. La contribution de RHyME est de chercher à donner aux robots une version opérationnelle de cette faculté, sans leur demander de reproduire à l’identique un mouvement qu’ils ne pourraient de toute façon pas effectuer.

Comment le robot passe-t-il de la vidéo à l’action ?

Dans cette approche, une vidéo explicative sert de référence visuelle pour identifier le but et les grandes étapes d’une tâche. Le système ne traite pas cette démonstration comme une commande directe. Il la met plutôt en relation avec un ensemble de données obtenues lorsque le robot a lui-même agi.

Le processus peut se résumer ainsi :

1. une personne réalise une tâche dans une vidéo démonstrative ;
2. RHyME repère les actions et les changements pertinents dans cette démonstration ;
3. le système recherche des séquences comparables parmi les expériences mémorisées du robot ;
4. le robot s’appuie sur ces séquences pour produire ses propres mouvements dans son environnement.

Cette démarche répond à une limite concrète des vidéos humaines. Une démonstration peut être fluide et facile à comprendre pour un spectateur, tout en restant difficile à traduire pour une machine : la position de départ, la forme de l’objet, l’angle de prise ou la vitesse du geste ne sont pas forcément reproduisibles. Le recours à des expériences robotiques antérieures apporte au système un répertoire de gestes réellement réalisables.

Quels résultats les chercheurs ont-ils obtenus ?

Les essais menés en laboratoire indiquent que cette stratégie peut réduire fortement la quantité de données nécessaire pour apprendre de nouvelles tâches. D’après les chercheurs, 30 minutes de données collectées auprès d’un robot ont suffi dans leur cadre expérimental pour lui permettre d’acquérir des compétences avec RHyME.

Le résultat le plus marquant est une amélioration de plus de 50 % du taux de réussite dans l’exécution des tâches par rapport à des méthodes plus traditionnelles évaluées dans ces tests. Cette hausse ne doit pas être lue comme la garantie qu’un robot réussira n’importe quelle manipulation dans n’importe quel lieu. Elle mesure une performance expérimentale, sur les tâches et les configurations retenues par l’équipe. Elle montre néanmoins qu’une meilleure utilisation de données limitées peut avoir un effet important.

L’intérêt pratique est évident. Si chaque nouvelle compétence exige moins de démonstrations contrôlées, les équipes de robotique peuvent consacrer moins de temps à enregistrer des mouvements répétitifs. Elles peuvent aussi envisager d’adapter plus vite les robots à des variations de tâches ou d’environnements, à condition que les cas rencontrés restent suffisamment proches des expériences déjà disponibles.

Ce que RHyME change, et ce qu’il ne résout pas encore

RHyME marque une évolution par rapport à une vision très rigide de la programmation robotique. Dans cette vision, chaque tâche doit être décrite avec précision ou démontrée de très nombreuses fois. Ici, le robot peut tirer une instruction générale d’une observation humaine et chercher, dans son propre vécu, les moyens concrets de la mettre en œuvre.

Cette approche reste toutefois dépendante de plusieurs conditions. La vidéo doit montrer suffisamment clairement une tâche utile. La mémoire du robot doit contenir des expériences proches de ce que la démonstration exige. Enfin, la machine doit encore percevoir correctement son environnement et manipuler les objets sans erreur. Un robot qui comprend mal la forme d’une tasse, qui ne détecte pas un obstacle ou qui ne sait pas ajuster sa prise ne devient pas compétent par la seule présence d’une vidéo.

Les chercheurs reconnaissent que la robotique est encore éloignée d’assistants domestiques capables de s’adapter à toutes les situations ordinaires. Une cuisine, un atelier ou une chambre présentent une multitude de différences : objets inconnus, éclairage variable, désordre, surfaces fragiles, présence de personnes. Les performances obtenues en laboratoire sont une étape vers des systèmes plus adaptables, non l’annonce d’une autonomie générale.

Vers quels usages cette méthode pourrait-elle conduire ?

L’apprentissage à partir de démonstrations vidéo pourrait être particulièrement intéressant dans les lieux où les tâches sont nombreuses mais apparentées. Dans l’assemblage automatisé, par exemple, un robot doit souvent effectuer des gestes de prise, de déplacement, d’alignement ou de dépôt sur des pièces dont la position varie. Dans un environnement logistique, il peut être amené à manipuler des contenants et des objets de formes diverses.

L’apport de RHyME n’est pas de supprimer la préparation des systèmes robotiques. Il est plutôt de rendre cette préparation potentiellement plus efficace : montrer une nouvelle finalité, puis laisser le robot récupérer des capacités qu’il possède déjà. Pour les opérateurs humains, cela pourrait à terme rapprocher la formation du robot d’un mode d’explication plus naturel, fondé sur l’observation, plutôt que sur de longues séances de commande à distance.

La prudence reste nécessaire : entre une démonstration convaincante sur une tâche de manipulation et un déploiement fiable dans un site industriel ou chez un particulier, les exigences de sécurité, de robustesse et de contrôle sont considérables. Mais la réduction des besoins en données est l’un des verrous les plus importants à faire sauter pour rendre les robots utiles dans davantage de contextes.

Ce qu’il faut surveiller

Les prochains travaux devront montrer si les gains de RHyME se maintiennent lorsque les tâches se complexifient, que les objets changent davantage ou que l’environnement devient moins contrôlé. Il faudra aussi mesurer sa capacité à récupérer après une erreur : savoir reprendre un objet mal saisi ou modifier sa trajectoire est aussi important que réussir une démonstration idéale.

La qualité et la diversité de la mémoire d’actions du robot seront un autre point central. Plus cette mémoire contiendra de gestes pertinents, plus le système pourra trouver de rapprochements utiles avec une nouvelle vidéo. À l’inverse, une bibliothèque d’expériences trop limitée peut empêcher la généralisation recherchée.

En avril 2025, RHyME illustre surtout une direction prometteuse pour la recherche : faire des vidéos non plus de simples supports d’explication pour les humains, mais une source d’apprentissage plus accessible pour les machines. La véritable mesure de son intérêt sera sa capacité à conserver cette efficacité hors du laboratoire, là où les tâches sont rarement aussi prévisibles qu’une démonstration bien cadrée.