Des robots apprennent à connaître leur corps grâce à une simple caméra

Pour manipuler un objet, se déplacer ou simplement éviter de se déformer de façon imprévisible, un robot doit savoir ce que produisent ses propres commandes. Cela paraît élémentaire pour un bras industriel rigide, dont les pièces et les angles sont précisément connus. C’est beaucoup plus délicat pour une main souple, un mécanisme imprimé en 3D ou une machine inspirée du vivant, dont la forme peut changer pendant l’action.

Des chercheurs du laboratoire CSAIL du MIT proposent une autre voie : apprendre au robot à observer son propre corps. Leur système, baptisé Neural Jacobian Fields, ou NJF, construit un modèle des mouvements de la machine à partir d’images. L’objectif n’est pas de doter un robot d’une conscience au sens humain du terme. Il s’agit de lui fournir une représentation pratique de son corps, afin qu’il puisse anticiper l’effet de ses commandes et corriger son mouvement.

Cette approche déplace une partie du travail habituellement confié aux ingénieurs. Au lieu de décrire à l’avance, pièce par pièce, la manière dont une structure doit se comporter, le robot expérimente et tire les leçons de ce qu’une caméra voit.

Pourquoi un robot doit-il modéliser son propre corps ?

Un robot classique repose souvent sur deux piliers : un modèle mécanique détaillé et des capteurs installés dans sa structure. Le modèle relie les commandes envoyées aux moteurs aux mouvements attendus. Les capteurs mesurent ensuite, par exemple, la position d’une articulation, une déformation ou une pression.

Cette recette fonctionne très bien lorsqu’un robot est rigide, standardisé et construit avec une géométrie connue. Mais elle devient plus exigeante dès que la machine est souple. Un doigt flexible peut se courber différemment selon sa position, l’objet touché ou l’usure du matériau. Décrire avec précision toutes ces réactions réclame des calculs complexes, des mesures nombreuses et parfois du matériel coûteux.

Les robots souples intéressent pourtant les chercheurs et les industriels, car leur conformité mécanique peut être utile pour saisir des objets fragiles, évoluer au contact d’humains ou s’adapter à des formes irrégulières. Leur faiblesse est aussi leur force : là où un mécanisme rigide suit des trajectoires prévisibles, un corps déformable offre davantage de possibilités, mais il est plus difficile à contrôler.

NJF part donc d’une idée simple : plutôt que d’équiper chaque zone d’un corps robotique de capteurs, pourquoi ne pas observer directement ce qui bouge ? Une caméra ne mesure pas elle-même la force, mais elle peut fournir de nombreuses informations sur la position, la forme et l’évolution visible de la machine.

Ce que recouvre le nom Neural Jacobian Fields

Le nom peut sembler technique, mais il décrit le cœur de la méthode. En mathématiques et en robotique, un jacobien est un outil qui exprime la relation locale entre une petite variation d’une commande et le changement de position qui en résulte. Si un moteur tourne légèrement, quelle partie du robot se déplace, dans quelle direction et de quelle quantité ?

Dans une machine articulée classique, ce lien peut être calculé à partir du plan mécanique. Pour un robot souple ou de forme inhabituelle, il est moins évident. Le système du MIT apprend alors cette relation grâce à un réseau neuronal. Le mot « fields », ou champs, renvoie à une représentation répartie dans la géométrie tridimensionnelle du robot : au lieu de ne modéliser que quelques articulations, NJF cherche à établir une carte dense des zones contrôlables du corps.

Autrement dit, le système apprend où et comment une commande agit sur la structure. Cette carte peut aider le robot à déplacer une partie de son corps vers une position visée, même si les données visuelles disponibles sont incomplètes. Les premières simulations sur des éléments simples, tels que des doigts en deux dimensions, ont servi à valider le principe avant son application à des systèmes physiques plus variés.

Le chercheur principal de l’étude, Sizhe Lester Li, résume ainsi le changement de logique : « Nous passons de la programmation à l’enseignement des robots. » La nuance est importante. Il ne s’agit pas de supprimer toute ingénierie, mais de remplacer une modélisation manuelle exhaustive par une phase d’apprentissage fondée sur l’expérience.

Comment NJF apprend-il à contrôler une machine ?

L’entraînement commence par une phase d’exploration. Le robot effectue des mouvements aléatoires, pendant que plusieurs caméras enregistrent les conséquences visibles de ses actions. Aucune personne n’a besoin de lui montrer le bon geste, ni d’annoter image par image les positions à atteindre. Le système compare les commandes envoyées avec les changements de forme et de position observés.

Cette phase permet au réseau neuronal d’inférer une carte de contrôlabilité. Lorsque le robot aura plus tard un objectif de mouvement, cette carte servira à sélectionner les commandes susceptibles de rapprocher son corps de la configuration voulue.

Une fois cette phase terminée, le contrôle peut s’appuyer sur une seule caméra monoculaire. Le système émet des signaux à une fréquence d’environ 12 Hertz, soit approximativement douze mises à jour par seconde. Cette cadence n’implique pas que tous les problèmes de contrôle robotique soient résolus : elle donne néanmoins une indication concrète de la capacité de NJF à fonctionner en temps réel dans les expériences décrites.

Le recours à plusieurs vues pour apprendre, puis à une seule vue pour agir, est un compromis. Les premières facilitent la compréhension de la forme en trois dimensions lors de l’entraînement. La seconde allège ensuite l’installation nécessaire au fonctionnement courant.

Des essais sur des corps robotiques très différents

L’intérêt du projet tient aussi à la variété des plateformes testées. Les travaux mentionnent une main robotisée souple, capable d’adapter ses mouvements pour saisir un objet sans recourir à des capteurs intégrés dans le corps. NJF a également été évalué sur un bras rigide imprimé en 3D et sur des plateformes rotatives.

Cette diversité compte, car elle montre que la méthode n’est pas limitée à une seule forme de robot. Une main souple pose le problème de la déformation continue. Un bras rigide fait davantage penser aux mécanismes articulés usuels. Une plateforme rotative obéit encore à une autre dynamique. Dans les trois cas, le principe reste identique : observer l’effet des commandes, apprendre ce lien et l’exploiter pour guider le mouvement.

La promesse est particulièrement intéressante pour les concepteurs de morphologies non conventionnelles. Un robot bio-inspiré, flexible ou assemblé avec des matériaux économiques peut être difficile à modéliser avant même son premier mouvement. Avec une approche telle que NJF, les concepteurs pourraient davantage se concentrer sur la forme et la fonction de la machine, puis laisser celle-ci apprendre une partie de son propre comportement.

Quels usages peut-on imaginer hors du laboratoire ?

Les applications avancées par les chercheurs se situent encore au stade des perspectives. En agriculture, un robot capable d’ajuster ses gestes à partir de sa propre observation pourrait aider à manipuler des végétaux ou intervenir dans des espaces irréguliers. Sur un chantier, une machine dont le corps n’exige pas une instrumentation sophistiquée à chaque articulation pourrait être plus simple à concevoir pour certaines tâches.

La méthode peut aussi intéresser la manipulation mobile, c’est-à-dire des robots qui doivent agir dans des environnements encombrés. Dans ces lieux, une structure peut être amenée à toucher, contourner ou frôler des objets imprévus. Un modèle appris à partir de l’observation de son propre corps peut compléter les méthodes plus classiques de planification du mouvement.

Les drones constituent une autre piste évoquée. Une navigation intérieure sans carte détaillée est un défi complexe, car les systèmes doivent se repérer et réagir dans des espaces variables. NJF ne constitue pas, à lui seul, une solution complète à ce problème. Mais l’idée d’apprendre visuellement la réponse d’un système à ses commandes peut alimenter de futures architectures de contrôle plus autonomes.

Il faut distinguer ces ambitions des résultats déjà démontrés. L’étude porte sur la capacité d’un robot à construire et utiliser un modèle visuel de son propre corps. Passer de cette capacité à un robot agricole autonome ou à une machine de chantier opérationnelle exige encore de résoudre de nombreux sujets : robustesse aux conditions réelles, sécurité, perception de l’environnement, alimentation électrique et interaction avec les humains.

Les limites actuelles de cette approche

NJF ne prétend pas encore être une méthode universelle. Première limite, le système doit être personnalisé pour chaque robot. Un modèle appris sur une main souple ne se transfère pas automatiquement à un bras rigide ou à une autre machine de forme différente. La généralisation entre plusieurs types de robots fait partie des obstacles que les recherches futures devront surmonter.

Deuxième limite, l’apprentissage initial nécessite plusieurs caméras. Cela reste plus léger qu’une multiplication de capteurs intégrés dans le corps de la machine, mais ce n’est pas une procédure totalement dépourvue d’équipement. La qualité des images, les angles de vue et les occultations éventuelles peuvent aussi influencer ce que le système parvient à apprendre.

Enfin, la vision ne remplace pas le toucher. Pour saisir un objet avec délicatesse, une image indique la posture de la main, mais pas nécessairement la force exacte exercée ou la texture de l’objet. NJF ne prend pas encore en charge la détection de force ou les informations tactiles, ce qui limite son efficacité pour certaines tâches de contact.

Ces réserves n’enlèvent pas l’intérêt de la démarche. Elles montrent plutôt la place que pourrait occuper cette technologie : une composante de contrôle visuel, à combiner à terme avec d’autres formes de perception lorsque la tâche le réclame.

Ce qu’il faut surveiller

La suite des travaux dépendra largement de deux capacités. La première sera de réduire la préparation nécessaire : les chercheurs envisagent qu’un amateur puisse un jour filmer les mouvements aléatoires d’un robot avec un téléphone afin de créer un modèle de contrôle sans équipement spécialisé. Cette idée reste une perspective, non une fonctionnalité disponible.

La seconde sera d’apprendre des modèles capables de passer d’un corps robotique à un autre. Si un système pouvait réutiliser une partie de son expérience sur des formes inédites, la conception de robots souples et bio-inspirés deviendrait plus accessible. Il faudrait toutefois préserver la précision et la sûreté du contrôle, deux exigences essentielles dès qu’une machine agit dans le monde physique.

NJF illustre ainsi une évolution importante de la robotique : les machines ne sont plus seulement exécutantes d’un programme écrit à l’avance. Elles peuvent explorer, se regarder agir et construire un modèle opérationnel de leurs propres mouvements. Pour les robots aux corps complexes ou déformables, cette capacité pourrait devenir aussi fondamentale que la vision de leur environnement.