Des robots apprennent à utiliser des outils en observant de simples vidéos

Apprendre à planter un clou ou à retourner un œuf ne relève pas seulement d’une suite de mouvements à répéter. Il faut saisir un outil, comprendre comment il entre en contact avec un objet, doser sa force et ajuster son geste. C’est précisément ce type de savoir-faire pratique que des chercheurs veulent désormais transmettre aux robots en leur faisant regarder des humains agir, à partir de vidéos ordinaires.

Le travail, mené par l’Université de l’Illinois à Urbana-Champaign avec des partenaires de Columbia University et de UT Austin, porte un nom révélateur : Tool-as-Interface. L’idée n’est pas de demander au robot de copier la posture complète d’une personne, ce qui serait peu utile puisqu’un bras mécanique, une pince et une main humaine ne fonctionnent pas de la même façon. Il s’agit plutôt de lui apprendre à raisonner autour de l’outil : où il se trouve, comment il bouge et quels effets ce mouvement produit sur son environnement.

Présentée en 2025 et distinguée par un Best Paper Award à l’ICRA 2025, cette approche esquisse une autre voie que la programmation robotique classique. Elle ne transforme pas pour autant n’importe quelle vidéo en compétence immédiatement exploitable. Mais elle cherche à réduire l’écart entre les innombrables démonstrations visuelles produites chaque jour et les données, beaucoup plus rares et coûteuses, dont les robots ont habituellement besoin.

Pourquoi apprendre par observation change la donne

Pendant longtemps, faire accomplir une tâche précise à un robot imposait de décrire les gestes dans le détail ou de les enregistrer par téléopération. Dans ce dernier cas, un opérateur pilote directement le robot, souvent à l’aide de contrôleurs, afin de créer des démonstrations adaptées à sa morphologie et à ses capteurs. Cette méthode peut être efficace, mais elle exige du temps, du matériel et des personnes capables de réaliser les manipulations correctement.

Les vidéos humaines sont beaucoup plus abondantes. Elles montrent des personnes qui cuisinent, bricolent, utilisent des ustensiles ou jouent avec des objets. Problème : un robot ne peut pas reproduire à l’identique les mouvements d’un humain. Une main possède des doigts, une souplesse et une capacité de contact que la plupart des pinces robotiques n’ont pas. De plus, une caméra placée près d’une personne ne voit pas la scène depuis la même position que les caméras du robot.

Tool-as-Interface tente de contourner cette incompatibilité en plaçant l’outil au centre de la démonstration. Pour enfoncer un clou, par exemple, ce qui importe au robot n’est pas la position exacte du coude humain. C’est la trajectoire du marteau, son orientation et son interaction avec le clou et la surface.

Cette approche s’inspire explicitement de l’apprentissage moteur des enfants. Ceux-ci observent les adultes utiliser des objets sans disposer nécessairement des mêmes outils, ni de la même force ou de la même taille. Ils retiennent surtout la relation entre un objet, un mouvement et un résultat. Les chercheurs cherchent à reproduire ce principe à l’échelle d’un système robotique.

Comment Tool-as-Interface transforme deux vidéos en démonstration exploitable

Le protocole commence avec deux enregistrements vidéo d’une activité humaine, réalisés avec de simples smartphones. Ces deux points de vue donnent davantage d’indices sur la profondeur, la position des objets et les mouvements que ne le ferait une seule image vidéo.

Le modèle de vision MASt3R analyse ensuite les séquences pour reconstruire une représentation tridimensionnelle de la scène. Une technique de synthèse appelée 3D Gaussian splatting sert alors à générer des vues supplémentaires. Pour le robot, l’intérêt est de disposer d’une perception dite multivue : il peut examiner la démonstration selon des angles qui ne correspondent pas forcément à ceux des vidéos initiales.

La dernière étape est déterminante. Grâce à Grounded-SAM, le système sépare l’outil de la personne et du reste de la scène. Les chercheurs décrivent cette opération comme le fait de retirer l’humain de l’équation. Le robot peut ainsi se concentrer sur la partie de l’information qui est transférable à son propre corps : l’interaction de l’outil avec l’environnement.

Cette chaîne de traitement répond à une difficulté fondamentale : une vidéo ne fournit pas directement toutes les informations nécessaires à une machine. Elle ne donne pas naturellement la trajectoire qu’une pince doit suivre, ni la façon dont le robot doit adapter son mouvement à sa configuration. La reconstruction de la scène et l’attention portée à l’outil sont donc des étapes intermédiaires indispensables entre l’observation et l’action.

Cinq tâches pour mettre l’imitation à l’épreuve

Les chercheurs ont évalué leur méthode sur cinq tâches de manipulation d’outils. Parmi elles figurent le fait de marteler un clou, de retourner un œuf dans une poêle, d’équilibrer une bouteille de vin et de marquer un but au soccer. Ces démonstrations ne se ressemblent pas : certaines demandent un impact précis, d’autres de la rapidité, du contrôle d’un mouvement continu ou une adaptation à la position d’un objet.

Cette diversité est importante. Une démonstration qui fonctionne pour un mouvement lent et très contrôlé ne prouve pas, à elle seule, qu’un robot peut agir dans un contexte plus dynamique. Retourner un œuf, par exemple, implique un geste vif et une coordination entre l’ustensile et le contenu de la poêle. Frapper un ballon demande de prévoir une interaction brève entre un outil ou un effecteur et un objet mobile.

Selon les résultats rapportés par l’équipe, Tool-as-Interface permet d’augmenter le taux de succès de 71 % par rapport aux techniques conventionnelles de téléopération. Ce chiffre doit être lu comme une comparaison avec les méthodes évaluées dans cette étude, sur ces tâches et dans ce cadre expérimental. Il ne signifie pas qu’un robot devient capable de maîtriser tous les outils du quotidien après quelques vidéos.

L’apport le plus notable est ailleurs : la méthode montre qu’une démonstration humaine peut devenir une ressource utile même si elle n’a pas été enregistrée avec le robot, ni conçue par un opérateur expert. C’est un changement de perspective pour un domaine où produire des données de qualité reste l’un des principaux freins.

En quoi cette méthode diffère de la téléopération classique

La téléopération conserve des atouts considérables. Elle permet d’enregistrer directement les actions d’un robot, avec ses propres caméras, ses articulations et son outil. Les données sont donc très proches de la situation d’exécution. En contrepartie, il faut préparer la démonstration, équiper le robot et disposer d’une personne qui maîtrise l’interface de contrôle.

La méthode des vidéos humaines mise sur une forme d’abondance. Une scène filmée au smartphone peut capturer un savoir-faire sans infrastructure robotique particulière. Les auteurs évoquent ainsi la possibilité, à terme, de s’appuyer sur des vidéos existantes, y compris des contenus en ligne tels que ceux publiés sur YouTube. Cette possibilité reste une perspective, pas une garantie : les vidéos devront montrer suffisamment clairement l’outil, la scène et l’action pour être interprétées par le système.

Le choix de centrer l’apprentissage sur l’outil joue ici un rôle clé. Au lieu de chercher une correspondance impossible entre une main humaine et une pince mécanique, le robot apprend une interaction. Cela peut aussi aider à transférer une compétence entre des outils de formes ou de tailles différentes, dans la mesure où l’interaction pertinente est correctement représentée.

Des limites encore concrètes dans le monde réel

Les résultats ne font pas disparaître les contraintes matérielles de la robotique. À ce stade, le système suppose notamment que l’outil est fixé de manière rigide au dispositif de préhension du robot. Cette hypothèse simplifie le problème : le logiciel peut considérer que la relation entre la pince et l’outil ne change pas pendant l’action.

Or, dans la vie quotidienne, un outil peut glisser, pivoter ou être saisi de différentes manières. Une personne peut changer sa prise sur une spatule, ajuster sa main sur un marteau ou reprendre un objet tombé. Ces situations introduisent des variations que le cadre actuel ne prend pas pleinement en charge.

La qualité de la perception est une autre limite. Le système doit estimer la pose, c’est-à-dire la position et l’orientation, de l’outil dans l’espace. Une erreur à ce stade peut être amplifiée au moment de l’exécution : un marteau mal orienté ne frappe pas correctement, une spatule mal placée rate l’aliment. Les vues synthétisées peuvent également être moins fiables lorsque les angles demandés sont trop éloignés des prises de vue disponibles.

Enfin, un environnement de recherche est plus ordonné qu’une cuisine, un atelier ou un domicile réel. L’éclairage, les objets qui masquent partiellement la scène, les surfaces imprévisibles et les interactions physiques variables rendent les tâches quotidiennes difficiles. L’étude constitue donc une démonstration de faisabilité prometteuse, non l’annonce d’un robot domestique polyvalent prêt à apprendre seul n’importe quel geste sur internet.

Quelles applications peut-on envisager ?

Si cette piste se confirme et gagne en robustesse, elle pourrait faciliter l’apprentissage de robots appelés à intervenir dans des environnements où les outils sont nombreux. Dans l’industrie, l’intérêt pourrait être d’enseigner plus rapidement certaines manipulations. Dans l’assistance, l’objectif serait de rendre les machines plus adaptables aux objets présents dans un logement ou dans un espace de travail.

L’enjeu économique est aussi lié au coût des données. Chaque démonstration de téléopération requiert souvent une installation spécifique et une intervention humaine. Des vidéos plus simples à collecter pourraient augmenter considérablement le volume de situations observables. Mais quantité ne veut pas dire qualité : il faudra des méthodes capables de sélectionner des séquences pertinentes, de respecter les droits liés aux contenus et de vérifier que les actions montrées sont sûres.

Pour le grand public, le changement le plus visible ne serait pas forcément un robot qui copie exactement une vidéo. Ce pourrait être une machine moins dépendante de procédures écrites à l’avance, capable d’acquérir une compétence lorsqu’on lui montre plusieurs fois une tâche dans des conditions encadrées. Entre cette ambition et un usage fiable hors laboratoire, il reste toutefois de nombreuses étapes techniques à franchir.

Ce qu’il faut surveiller

La suite dépendra d’abord de la capacité des robots à gérer des outils qui ne sont pas rigidement attachés à leur pince. Il faudra aussi améliorer l’estimation de pose et la robustesse des reconstructions 3D, notamment lorsque les vidéos sont imparfaites ou que la scène est encombrée.

Un autre test décisif sera la généralisation. Les recherches devront déterminer jusqu’où une compétence observée dans une cuisine, un atelier ou un terrain d’essai peut être adaptée à un autre lieu, à une autre taille d’outil ou à un autre robot. C’est cette faculté de transfert, bien plus que l’exécution d’une démonstration unique, qui décidera de l’utilité pratique de l’approche.

En août 2025, Tool-as-Interface ne remplace donc ni les opérateurs humains ni la programmation robotique. Son apport est de proposer un pont entre les gestes humains filmés et les actions d’une machine. Si ce pont devient plus solide, les vidéos de tâches ordinaires pourraient cesser d’être de simples souvenirs visuels pour devenir une nouvelle matière première de l’apprentissage robotique.