Des robots qui devinent le poids et la souplesse des objets en les manipulant

Pour juger du poids d’un sac ou de la souplesse d’une balle, un humain n’a pas toujours besoin de les regarder : il lui suffit souvent de les prendre en main. Un bras robotisé possède lui aussi des informations précieuses lorsqu’il saisit, soulève ou déplace un objet. Encore faut-il savoir les interpréter. C’est précisément l’objectif d’une méthode présentée par des chercheurs du MIT, d’Amazon Robotics et de l’Université de la Colombie-Britannique.

Leur système vise à permettre à un robot d’identifier des propriétés physiques d’un objet à partir de ses seuls capteurs internes. Autrement dit, la machine ne cherche pas d’abord à reconnaître visuellement une bouteille, une boîte ou un outil : elle observe la façon dont l’objet résiste à ses mouvements. Cette approche pourrait rendre la manipulation robotique plus robuste dans les lieux où les caméras sont peu utiles, trop coûteuses ou tout simplement aveugles.

Pourquoi reconnaître la forme d’un objet ne suffit pas

La vision est devenue un outil central de la robotique. Une caméra peut aider une machine à localiser un objet, à estimer sa forme ou à éviter un obstacle. Mais l’apparence ne révèle pas tout. Deux boîtes de même taille peuvent avoir des masses très différentes. Un objet opaque peut contenir un liquide, être creux ou abriter un mécanisme mobile. La souplesse d’un matériau, elle aussi, ne se déduit pas toujours de manière fiable d’une image.

Or ces caractéristiques changent profondément la manière dont un robot doit agir. Pour soulever un objet lourd, il faut prévoir un effort suffisant. Pour saisir un article fragile ou souple, il faut contrôler la force appliquée afin d’éviter de l’écraser, de le faire tomber ou de le déformer. Dans un environnement encombré, imprécis ou mal éclairé, le robot doit également être capable de s’adapter sans dépendre d’une infrastructure externe de mesure.

C’est là que la manipulation devient une source de connaissance. Plutôt que de traiter l’objet comme une cible immobile à identifier avant l’action, le robot peut apprendre de l’interaction elle-même. Il agit, mesure les conséquences de son geste, puis affine son estimation des propriétés physiques en jeu.

La proprioception, un sens interne pour le bras robotisé

La méthode repose sur les signaux proprioceptifs du robot, c’est-à-dire les données qui renseignent la machine sur l’état de ses articulations et ses mouvements. Les encodeurs de joints indiquent notamment la position des articulations d’un bras robotisé. Associés à l’observation de la trajectoire et de la réaction mécanique du système, ils permettent de détecter qu’un objet ne se comporte pas comme prévu.

Si un bras tente de lever un objet supposé léger mais que son mouvement est freiné, la machine peut en déduire que la masse réelle est plus élevée. Si l’objet se déforme lors d’une pression ou d’un déplacement, les signaux recueillis peuvent renseigner sur sa souplesse. Le robot ne « ressent » pas au sens humain du terme, mais il exploite les effets mesurables de ses propres actions.

Cette approche se distingue des systèmes qui s’appuient principalement sur des caméras, des capteurs placés dans l’environnement ou des instruments de mesure dédiés. Ici, l’information utile provient avant tout de l’intérieur du robot. Cela réduit la dépendance à des équipements extérieurs et ouvre des possibilités dans les situations où la visibilité est limitée, par exemple dans un espace sombre, accidenté ou encombré.

Comment une simulation différentiable aide le robot à comprendre l’objet

Le cœur technique du système est une simulation différentiable qui modélise à la fois le robot et l’objet manipulé. Une simulation physique classique permet de prévoir ce qui devrait se passer lorsque le robot exerce une action. Une simulation différentiable ajoute une capacité essentielle : elle permet de calculer comment de petites variations des paramètres, comme la masse ou la souplesse supposée d’un objet, modifient le résultat simulé.

Le principe consiste à confronter le comportement observé dans le monde réel à plusieurs hypothèses physiques dans la simulation. Si l’objet réel ne réagit pas comme le modèle le prévoit, le système peut ajuster les paramètres jusqu’à mieux expliquer les données recueillies par les articulations du robot. Cette démarche permet d’identifier rapidement les caractéristiques pertinentes au fil de la manipulation.

Les chercheurs ont construit leur modèle avec NVIDIA Warp, une bibliothèque open-source destinée au développement de simulations différentiables. Cet outil est particulièrement adapté aux calculs physiques nécessaires pour faire évoluer un modèle en fonction de données observées. L’enjeu n’est pas de créer une copie parfaite de chaque objet avant de le toucher, mais de disposer d’un modèle suffisamment réactif pour corriger ses estimations pendant l’action.

Cette stratégie est dite efficace en données, car elle cherche à tirer parti directement des signaux produits par la manipulation plutôt que de nécessiter une phase de calibration lourde pour chaque nouvel objet. L’étude indique que le système peut estimer les propriétés d’objets qu’il n’a pas vus auparavant à partir de ses modèles internes.

Des résultats prometteurs sans caméra ni mesure externe

Selon les résultats présentés par l’équipe, les robots peuvent estimer avec précision des caractéristiques telles que la masse ou la souplesse d’un objet en quelques secondes. La méthode reste efficace dans une variété de scénarios inconnus et affiche des performances comparables à celles d’approches plus complexes et plus coûteuses qui font intervenir la vision par ordinateur.

L’intérêt économique est important : aucun outil de mesure externe ni caméra n’est indispensable au fonctionnement du système. Dans des applications où il faudrait équiper un espace de capteurs, calibrer plusieurs appareils ou garantir en permanence de bonnes conditions lumineuses, cette simplification peut compter autant que la précision elle-même.

Il ne faut toutefois pas y voir une disparition de la vision robotique. Une caméra demeure très utile pour repérer un objet, choisir une zone de saisie ou comprendre la disposition générale d’un lieu. La force de la méthode est plutôt de compléter les informations visuelles par une forme de perception physique, obtenue au contact direct.

Dans quels cas cette technologie pourrait-elle être utile ?

La recherche vise d’abord à améliorer la manipulation dans des environnements complexes et imparfaits. Un robot confronté à des objets de propriétés inconnues doit pouvoir modifier son comportement sans attendre une mesure externe. Cette faculté peut intéresser la robotique industrielle, mais aussi les machines mobiles appelées à intervenir dans des lieux peu structurés.

Les situations où la vision est compromise constituent un cas d’usage particulièrement parlant. Dans un sous-sol sombre, au milieu de débris après une catastrophe ou dans un espace où un objet est partiellement caché, une caméra peut fournir une information incomplète. Le bras robotisé peut alors continuer à inférer certaines propriétés en agissant avec prudence et en analysant la résistance rencontrée.

Les perspectives ne s’arrêtent pas à la masse et à la souplesse. Les chercheurs évoquent la possibilité de déterminer d’autres attributs physiques, notamment le moment d’inertie, qui décrit la résistance d’un objet à un changement de rotation. Ils envisagent aussi, à terme, d’estimer la viscosité d’un fluide contenu dans un récipient. Ces objectifs sont plus difficiles, car les liquides en mouvement et les objets aux comportements complexes compliquent fortement la modélisation physique.

Vers une perception multimodale des robots

Pour Peter Yichen Chen, chercheur principal de l’étude, cette technique peut contribuer à améliorer l’apprentissage des robots. Un système capable de relier ses propres mouvements aux propriétés des objets pourrait acquérir plus vite de nouvelles compétences de manipulation et s’adapter à des environnements qui changent.

La voie la plus prometteuse pourrait être celle d’une perception multimodale. La vision renseigne sur la scène, les capteurs internes décrivent les mouvements et les efforts du robot, tandis que la simulation fournit un cadre pour interpréter ces données. Réunir ces sources d’information pourrait aider une machine à agir avec davantage de fiabilité que si elle se fiait à une seule modalité.

Miles Macklin, directeur senior de la technologie de simulation chez NVIDIA, a salué cette recherche. Son intérêt illustre le rôle croissant des simulateurs physiques dans la robotique moderne. Ces outils ne servent plus uniquement à tester un robot avant son déploiement : ils peuvent aussi participer à l’interprétation de ce qui se passe pendant l’exécution d’une tâche.

Il reste néanmoins des défis importants. Étendre la méthode à des robots souples, à des objets très déformables ou à des liquides en mouvement demandera des modèles physiques plus complexes. Dans ces cas, la différence entre une simulation et le comportement du monde réel peut devenir plus difficile à corriger rapidement.

Ce qu’il faut surveiller

Cette étude met en lumière une évolution essentielle de la robotique : un robot utile ne doit pas seulement voir son environnement, il doit aussi apprendre à le manipuler pour mieux le comprendre. L’exploitation des capteurs internes peut diminuer les coûts matériels, réduire la dépendance à la vision et apporter une solution dans des conditions difficiles.

La prochaine étape sera de vérifier jusqu’où cette approche peut être généralisée. Sa capacité à fonctionner avec des systèmes robotiques plus variés, à traiter des matériaux et des objets plus complexes, puis à s’associer efficacement à la vision déterminera son potentiel pratique. Si ces progrès se confirment, les robots pourraient devenir moins dépendants d’environnements parfaitement préparés et plus aptes à s’adapter à la diversité du monde physique.