Des robots souples contrôlés avec une seule caméra grâce à l’apprentissage profond

Contrôler un robot rigide est déjà un exercice complexe. Contrôler une machine qui se plie, s’étire, se gonfle ou se déforme comme un organisme vivant l’est davantage encore. Ces robots souples sont prometteurs pour évoluer dans des espaces contraints ou fragiles, mais leur comportement change en permanence et se prête mal aux modèles mécaniques classiques. Des chercheurs du MIT proposent une autre voie : apprendre au robot à comprendre son propre corps à partir de la vision.

Leur système d’apprentissage profond permet de contrôler plusieurs robots souples et bio-inspirés avec une seule caméra. Au lieu d’exiger une batterie de capteurs installés dans la structure ou un modèle spatial conçu sur mesure, il s’appuie sur l’image du robot et sur une représentation mathématique de ses mouvements possibles. L’approche ne remplace pas totalement l’ingénierie mécanique, mais elle pourrait alléger une partie importante du travail nécessaire pour faire bouger des machines aux formes inhabituelles.

Pourquoi les robots souples sont-ils difficiles à piloter ?

Un bras industriel traditionnel est composé de pièces rigides et d’articulations dont les angles peuvent être mesurés. Sa position peut donc être calculée à partir d’un modèle relativement stable. Les robots souples, eux, peuvent être constitués de matériaux flexibles, de chambres pneumatiques ou de géométries qui changent sous l’effet de l’actionnement. Une même commande peut produire des mouvements légèrement différents selon la posture de la machine ou les contraintes de son environnement.

C’est précisément ce qui fait leur intérêt. Une main pneumatique imprimée en 3D peut, par exemple, s’adapter à la forme d’un objet sans disposer de toutes les articulations d’une main rigide. Mais cette souplesse complique le contrôle : il faut savoir où se trouvent les différentes parties du robot et anticiper leur déplacement lorsque l’on active un canal de commande.

Dans de nombreuses approches, cela suppose des capteurs embarqués, une fabrication très précise et un modèle physique adapté à chaque nouvelle conception. Pour un prototype ou un robot peu coûteux, ces exigences peuvent devenir un frein. Le système mis au point au MIT vise à limiter cette dépendance en donnant un rôle central à la vision.

Le champ Jacobien visuo-moteur, une carte des mouvements du robot

Le cœur de la méthode est un modèle appelé champ Jacobien visuo-moteur. Derrière ce terme technique se trouve une idée assez intuitive : établir une carte qui relie les commandes envoyées au robot aux mouvements observables sur son corps.

En mathématiques et en robotique, un Jacobien sert à décrire comment une petite variation d’une commande modifie la position d’un élément du système. Dans cette recherche, le modèle apprend cette relation pour les points de surface du robot. Il encode ainsi deux informations essentielles :

• la géométrie du robot, c’est-à-dire sa forme dans l’espace ;
• sa cinématique, autrement dit la manière dont ses différentes zones se déplacent lorsqu’il reçoit des commandes.

À partir d’une seule image, le système peut inférer une représentation en trois dimensions de la machine et prévoir le mouvement 3D de ses points de surface pour différents ordres de commande. Dans les visualisations produites par les chercheurs, des codes de couleurs permettent d’indiquer la sensibilité de chaque point aux canaux de commande du robot.

Cette représentation ne se contente donc pas de reconnaître la silhouette d’une main ou d’un bras. Elle cherche à répondre à une question opérationnelle : si le contrôleur active telle commande, quelle partie du robot se déplacera, dans quelle direction et avec quelle amplitude ? C’est cette capacité de prédiction qui permet ensuite de transformer un objectif de mouvement en actions concrètes.

Une seule caméra pour l’usage, mais un apprentissage à partir de vidéos multi-vues

L’expression « une seule caméra » peut prêter à confusion. Elle décrit la simplicité du dispositif de contrôle : une image monoculaire suffit au modèle pour estimer l’état du robot et guider ses mouvements. L’entraînement du système, lui, repose sur des vidéos multi-vues montrant les robots lorsqu’ils exécutent diverses commandes.

Ces séquences donnent au modèle les éléments nécessaires pour apprendre la forme du robot et l’étendue de ses mouvements. Il peut ensuite se servir d’une vue unique pour retrouver une estimation tridimensionnelle utile au contrôle. C’est une distinction importante : l’objectif n’est pas de prétendre reconstruire sans aucune donnée préalable le comportement de n’importe quel objet à partir d’une photographie, mais de réduire les besoins matériels une fois le système entraîné.

Cette organisation répond à un problème pratique fréquent en robotique souple : il est possible de disposer d’un robot simple à fabriquer, mais beaucoup plus difficile de l’équiper de suffisamment de capteurs et de lui associer un modèle de contrôle fiable. Une caméra externe peut alors devenir une source d’information unique, plus facile à intégrer dans l’installation.

Comment le robot corrige-t-il ses mouvements en temps réel ?

Le champ Jacobien visuo-moteur est utilisé dans une boucle de contrôle fermée. En pratique, le système observe le robot, compare son état à la trajectoire ou au mouvement souhaité, puis optimise les ordres de commande. La caméra ne sert donc pas uniquement à une analyse initiale : elle permet au contrôleur de tenir compte de la position observée du robot pendant l’exécution.

Les chercheurs rapportent une vitesse interactive d’environ 12 Hz, soit douze mises à jour par seconde. À cette cadence, le système peut générer et corriger des mouvements sans attendre une longue phase de calcul entre chaque commande. Les essais, y compris dans des situations hors du laboratoire, indiquent que les commandes produites reproduisent les mouvements voulus.

Cette boucle fermée est particulièrement utile pour des structures déformables. Si le robot bouge légèrement autrement que prévu, ou si son environnement modifie sa posture, la vision peut aider à corriger la suite de la commande. Le système ne suppose donc pas que chaque action aura toujours exactement le même résultat.

Des tests sur des mains, des poignets et des bras robotiques

L’équipe a évalué la méthode sur plusieurs systèmes robotiques. Les expériences comprennent notamment des mains pneumatiques imprimées en 3D, des poignets souples auxétiques et des bras robotiques à faible coût. Cette diversité est importante : elle suggère que le modèle ne se limite pas à une seule morphologie ni à une machine construite spécialement autour de capteurs sophistiqués.

Les résultats rapportés font état d’une précision notable. Les erreurs sur les mouvements articulaires restent inférieures à 3 degrés. Pour le contrôle des extrémités, l’écart mesuré est inférieur à 4 millimètres. Ces deux indicateurs ne désignent pas exactement la même chose : le premier s’intéresse à l’orientation ou au déplacement des articulations, tandis que le second évalue la capacité à positionner les bouts de doigts ou les extrémités de l’effecteur.

Ces performances sont obtenues tout en réduisant les contraintes de conception. L’approche évite d’avoir à élaborer un modèle spatial particulier pour chaque forme de robot et limite le besoin de multiplier les capteurs embarqués. Pour les équipes qui testent rapidement plusieurs prototypes, cette simplification peut compter autant que la précision elle-même.

De la programmation manuelle à l’apprentissage par démonstration visuelle

Au-delà des résultats chiffrés, ces travaux défendent une évolution de la conception robotique. Au lieu de programmer manuellement l’ensemble des comportements et des paramètres d’une nouvelle machine, les chercheurs proposent de la former à partir de démonstrations visuelles.

L’enjeu est de rendre l’ingénierie des robots plus accessible, notamment pour des structures souples ou peu instrumentées. Sizhe Lester Li, étudiant en doctorat impliqué dans ces travaux, souligne que ce type de modèle pourrait abaisser les barrières à l’entrée de l’ingénierie robotique. L’idée n’est pas de supprimer l’expertise humaine : concevoir un robot, choisir ses actionneurs et définir sa tâche restent des défis. Mais une part de la modélisation et de l’étalonnage pourrait être confiée à l’apprentissage.

Pour les robots bio-inspirés, cette orientation est particulièrement intéressante. Les formes inspirées du vivant peuvent être efficaces dans des passages étroits, au contact de surfaces irrégulières ou pour manipuler des objets délicats. Elles sont aussi difficiles à décrire avec les outils utilisés pour des mécanismes rigides. Apprendre directement le lien entre apparence, commande et mouvement constitue donc une alternative crédible à une modélisation manuelle exhaustive.

Les limites d’un contrôle fondé uniquement sur la vision

La caméra apporte une information puissante, mais elle ne voit pas tout. Lorsqu’un robot doit savoir s’il touche un objet, quelle force il exerce, si une surface est glissante ou si une prise est stable, les seuls indices visuels peuvent être insuffisants. C’est la principale limite reconnue de cette approche.

Les performances peuvent aussi se dégrader lorsque les informations visuelles ne permettent plus de distinguer correctement la position ou la déformation du robot. Une occlusion, un point de contact caché ou une scène peu informative peuvent priver le modèle d’éléments utiles. Le système est donc particulièrement adapté aux tâches pour lesquelles le mouvement du corps reste visible et où l’objectif peut être suivi par caméra.

L’ajout de capteurs tactiles ou d’autres modalités de perception représente une piste d’amélioration. Associer la vision au toucher donnerait au robot à la fois une compréhension de sa posture et un retour direct sur ses interactions physiques. Cela pourrait ouvrir la voie à des manipulations plus complexes que le simple suivi d’une trajectoire observée.

Ce qu’il faut surveiller

La suite de ces recherches portera sur l’automatisation du contrôle d’une gamme plus large de robots, y compris des machines possédant peu, voire aucun, capteur intégré. La question sera aussi de savoir dans quelles conditions la méthode conserve sa précision lorsque la forme du robot, son environnement ou sa tâche deviennent plus variés.

Les prochains progrès dépendront vraisemblablement de la complémentarité entre plusieurs types de perception. La vision monoculaire rend le contrôle plus léger et plus accessible. Le tactile pourrait, lui, apporter les informations manquantes lors d’une prise d’objet ou d’un contact difficile à observer. Si cette association fonctionne sur des robots aux conceptions très différentes, elle pourrait accélérer le passage entre un prototype souple imaginé en laboratoire et une machine capable d’agir avec précision dans un environnement réel.