3D-ViTac : vision et toucher pour améliorer la dextérité des robots

Un robot peut reconnaître une tasse sur une table et pourtant échouer à la saisir sans la faire tomber, l’écraser ou la heurter. Cette différence entre voir un objet et le manipuler avec assurance reste l’un des grands obstacles de la robotique. Des chercheurs de l’Université de Columbia proposent une piste concrète : faire travailler ensemble la vue et le toucher, comme le font naturellement les humains.

Présenté à la Conférence sur l’apprentissage des robots, CoRL 2024, organisée à Munich, leur système baptisé 3D-ViTac associe des informations visuelles et tactiles au sein d’un même dispositif. L’ambition est de donner aux robots une perception plus complète de ce qui se passe au moment où leurs doigts ou leurs pinces entrent en contact avec un objet. Les essais rapportés par l’équipe portent notamment sur la cuisson d’un œuf, la disposition de raisins sur une assiette, la saisie d’une clé hexagonale et le service d’un sandwich.

3D-ViTac, un système qui relie la vue au toucher

La détection dite multi-modale consiste à réunir plusieurs sources d’information plutôt que de demander à une machine de se fier à un seul sens. Dans le cas de 3D-ViTac, ces deux sources sont les données visuelles et les données tactiles. La vision renseigne le robot sur son environnement, la position apparente d’un objet ou l’endroit où placer son préhenseur. Le toucher lui apporte, au contact, des indications qu’une image seule ne fournit pas directement.

Le système a été pensé pour être intégré aux mains et aux préhenseurs robotiques, c’est-à-dire aux dispositifs qui servent à saisir et déplacer des objets. Le capteur tactile conçu par les chercheurs est décrit comme suffisamment fin pour être comparé à une feuille de papier, tout en étant flexible et robuste pour une utilisation prolongée. Ces qualités comptent : un capteur trop volumineux peut gêner les mouvements d’une pince, tandis qu’un composant trop fragile supporte mal des manipulations répétées.

L’intérêt ne réside donc pas dans l’ajout d’un capteur isolé. Il tient à l’intégration simultanée de ces signaux dans un système d’apprentissage. Le robot ne doit plus considérer l’image et le contact comme deux événements indépendants, mais comme deux informations complémentaires sur une même action.

Pourquoi le toucher est-il si important pour un robot ?

Dans la vie courante, les humains utilisent leur sens du toucher sans y penser. En prenant un fruit, en tournant une clé ou en portant une assiette, ils ajustent leur force et leur mouvement en fonction de la résistance rencontrée. Cette capacité est particulièrement utile lorsqu’un objet varie d’une fois à l’autre : un raisin peut être plus ou moins ferme, un sandwich plus ou moins stable, une clé plus ou moins facile à saisir selon son orientation.

Pour un robot, l’image reste indispensable, mais elle ne suffit pas toujours. Un objet peut être partiellement caché par le préhenseur au moment de la saisie. Sa forme visible ne dit pas à elle seule comment il réagit au contact. Sans retour tactile, la machine risque de poursuivre un mouvement programmé alors que l’objet glisse, résiste ou se trouve mal positionné.

Yunzhu Li, auteur principal de l’étude, met en avant le rôle déterminant du toucher dans la manière dont les humains perçoivent les interactions physiques. L’objectif des travaux est précisément de rapprocher la perception robotique de cette combinaison : voir ce qui se trouve devant soi, puis sentir les conséquences du geste entrepris.

Cette approche peut être pertinente pour les tâches ménagères, mais aussi pour toute situation où un robot doit traiter des objets de tailles, de formes et de compositions différentes. Elle ne transforme pas automatiquement une machine en assistant domestique polyvalent. Elle répond à un problème plus fondamental : donner au robot les informations nécessaires pour agir avec davantage de précision dans le monde physique.

Des essais sur des gestes très différents

Les chercheurs ont testé leur système sur un robot muni d’un préhenseur équipé de capteurs. Les démonstrations retenues couvrent des gestes qui ne posent pas les mêmes difficultés. Servir un sandwich suppose de maintenir un objet sans compromettre sa stabilité. Disposer des raisins sur une assiette demande de manipuler des éléments petits et délicats. Saisir une clé hexagonale exige une prise précise sur un objet rigide et de petite taille.

Selon les résultats présentés par l’équipe, l’ajout du capteur tactile améliore la réussite des manipulations. Le matériau disponible ne fournit pas de taux de réussite chiffré tâche par tâche, ni de comparaison détaillée entre chaque configuration. Il faut donc lire ces résultats comme la démonstration d’un potentiel expérimental, non comme la preuve qu’un robot est prêt à accomplir sans supervision toutes les tâches d’une cuisine ou d’un foyer.

Ce point de prudence est important. En robotique, une démonstration réussie dans un cadre d’essai ne garantit pas encore une robustesse identique face à la diversité du monde réel : objets inconnus, positions inhabituelles, éclairage variable, encombrement ou gestes imprévus. Mais les tâches sélectionnées montrent bien pourquoi la fusion entre vision et toucher peut être utile : elles obligent le robot à tenir compte de ce qu’il perçoit avant et pendant l’action.

Comment l’apprentissage par imitation entre en jeu

Le matériel n’est qu’une partie du problème. Encore faut-il apprendre au robot à utiliser les informations collectées. Pour cela, Li et ses collègues ont mis en place un cadre d’apprentissage par imitation de bout en bout, ou « end-to-end ».

L’apprentissage par imitation consiste, dans son principe, à fournir au système des exemples de gestes à reproduire. Le robot apprend alors à associer une situation perçue à une action appropriée. L’expression « de bout en bout » souligne que l’apprentissage relie directement les données sensorielles aux décisions motrices, au lieu de reposer uniquement sur une longue suite de règles fixées à l’avance par des programmeurs.

Dans 3D-ViTac, le défi est plus riche qu’avec une caméra seule. Le modèle doit apprendre à exploiter ce qu’il voit, mais aussi à interpréter les signaux tactiles produits lorsque le préhenseur touche l’objet. Cette association peut aider à rendre les interactions plus sûres avec des objets fragiles et à maintenir la qualité du geste dans des manipulations prolongées, deux progrès mis en avant par les chercheurs.

Ce que change la perception multi-modale

La promesse de cette recherche est de réduire l’écart entre les environnements très contrôlés, où les robots excellent souvent, et les contextes ordinaires, beaucoup plus variables. Un bras industriel qui répète le même mouvement sur la même pièce n’a pas les mêmes besoins qu’un robot appelé à ranger des objets, préparer des aliments ou assister une personne.

Dans ces usages plus ouverts, la machine doit composer avec des objets non standardisés et des contacts difficiles à prévoir. La combinaison des capteurs n’élimine pas tous les problèmes, mais elle enrichit l’information disponible au moment d’agir. Le système peut ainsi mieux relier l’apparence d’un objet à la manière dont cet objet réagit physiquement lorsqu’il est manipulé.

Les applications envisagées couvrent notamment la robotique domestique, l’assistance aux personnes âgées, la fabrication et la logistique. Il s’agit de perspectives d’application, pas de déploiements annoncés. Dans chacun de ces domaines, la valeur d’un robot dépendra autant de sa fiabilité et de sa sécurité que de sa capacité à réussir une démonstration ponctuelle.

Des défis techniques qui restent à résoudre

La finesse et la flexibilité du capteur répondent à une contrainte matérielle importante, mais l’intégration complète dans des systèmes variés reste un chantier. Il faut pouvoir installer ces capteurs sur différents préhenseurs, traiter les données recueillies et entraîner les modèles de manière efficace. À cela s’ajoute la question des essais : apprendre dans le monde réel peut demander beaucoup de temps et multiplier les manipulations physiques.

L’équipe de Columbia prévoit donc de développer des méthodes de simulation ainsi que des stratégies d’intégration destinées à simplifier les tests et l’application de ses capteurs dans plusieurs contextes. La simulation peut permettre d’explorer davantage de scénarios avant de les reproduire sur un robot réel. Elle doit néanmoins refléter suffisamment bien les contacts physiques pour que les apprentissages restent utiles une fois transférés sur la machine.

L’autre défi est celui de la généralisation. Réussir quatre familles de tâches ne signifie pas savoir manipuler n’importe quel objet. Les futures évaluations devront notamment examiner comment le système réagit à des objets inconnus, à des matières différentes ou à des gestes plus longs. C’est dans ces situations que l’apport de la perception tactile pourra être mesuré avec le plus de précision.

Ce qu’il faut surveiller

Les travaux autour de 3D-ViTac s’inscrivent dans une ambition plus large : rendre la détection tactile plus accessible pour contribuer à des modèles fondamentaux robotiques multi-modaux. Ces modèles chercheraient à traiter plusieurs formes de perception pour mieux comprendre les interactions physiques, à la manière dont les grands modèles d’IA ont appris à combiner texte, image ou son dans d’autres domaines.

À court terme, les avancées à suivre concerneront moins l’apparition d’un robot domestique universel que la capacité à reproduire ces résultats sur d’autres plateformes et dans des scénarios plus variés. Il faudra aussi observer si les outils de simulation annoncés permettent de réduire le temps nécessaire aux essais et à l’apprentissage.

La recherche présentée à CoRL 2024 rappelle enfin une réalité souvent masquée par les images spectaculaires de robots humanoïdes : l’intelligence physique commence par des gestes simples, mais exigeants. Saisir, sentir, corriger sa force et ne pas laisser tomber un objet sont des compétences ordinaires pour un humain. Pour une machine, les relier de façon fiable reste l’une des étapes décisives vers une assistance réellement utile.