Robotique : les modèles multimodaux pour mieux apprendre les gestes délicats

Faire saisir un verre sans le casser, ranger un objet au bon endroit ou assister un soignant ne relève pas seulement d’un problème de langage. Pour agir correctement, un robot doit relier une consigne à ce qu’il voit, à la position de son bras, parfois à la force exercée par sa pince et aux changements imprévus de son environnement. C’est précisément la promesse des modèles multimodaux : mettre en relation plusieurs formes d’information afin de produire une décision plus pertinente.

En octobre 2024, cette ambition est au centre de nombreux travaux en robotique. Les grands modèles de langage, ou LLM, savent déjà traiter des instructions formulées en langage naturel et générer des explications ou des plans. Lorsqu’ils sont associés à des images, des vidéos, des signaux audio ou des données de capteurs, ils peuvent contribuer à créer des systèmes qui comprennent mieux le contexte d’une tâche. Mais il faut distinguer ce que ces modèles savent interpréter de ce qu’un robot est réellement capable d’exécuter avec fiabilité dans le monde physique.

De quoi parle-t-on quand on évoque un modèle multimodal ?

Un LLM est, à l’origine, un modèle entraîné sur du texte. Il apprend les régularités du langage et peut répondre à une question, résumer un document ou suivre une instruction. Un modèle multimodal va plus loin : il traite au moins deux modalités, par exemple du texte et une image. En robotique, ce croisement est particulièrement utile car une instruction ne suffit presque jamais à décrire toutes les variables d’une action.

Prenons la consigne « pose la tasse sur le plateau ». Un système uniquement linguistique peut en comprendre le sens général, mais il ne sait pas où se trouve la tasse, si elle est pleine, si le plateau est encombré ou si la prise risque de la faire tomber. Une caméra, des capteurs de position et, selon le matériel, des capteurs de force apportent les éléments manquants.

L’intérêt ne réside donc pas seulement dans l’accumulation de données. Il consiste à apprendre les liens entre elles : une phrase désigne un objet visible, un mouvement modifie la scène, un contact peut indiquer qu’une pince est trop serrée. Les chercheurs parlent souvent de modèles vision-langage-action lorsque le système relie explicitement une perception visuelle, une instruction et une action robotique.

Pourquoi les données sont-elles décisives pour les tâches délicates ?

Les capacités d’un robot dépendent fortement de ce qu’il a observé pendant son entraînement. Pour une tâche de manipulation, un jeu de données utile ne se limite pas à une série de photos d’objets. Il doit idéalement associer la perception de la scène aux actions effectuées, à leur résultat et, lorsque c’est nécessaire, aux informations physiques liées au geste.

Une démonstration peut ainsi contenir une séquence vidéo, la trajectoire d’un bras, l’ouverture d’une pince, la consigne qui a été prononcée et un indicateur de réussite. Une description textuelle permet de donner un sens plus général à l’action observée. Le modèle peut alors rapprocher des formulations différentes, comme « prends le récipient », « attrape la tasse » ou « saisis le mug », tout en apprenant à reconnaître l’objet concerné dans plusieurs environnements.

Cette richesse peut améliorer la réutilisation des données. Au lieu d’entraîner séparément un système de reconnaissance visuelle, un autre de compréhension du langage et un troisième de contrôle, les équipes cherchent à mieux connecter ces compétences. Des projets de recherche tels que RT-2, présenté par Google DeepMind en 2023, ou OpenVLA, publié en 2024, illustrent cette direction : apprendre une relation entre vision, langage et action à partir de grandes collections de démonstrations robotiques.

L’enjeu est particulièrement important pour les gestes qui tolèrent peu d’erreurs. Déplacer une boîte sur une étagère laisse une certaine marge. Manipuler un objet fragile, aider une personne à se déplacer ou intervenir dans un environnement médical exige davantage de précision. Dans ces cas, une image bien annotée ne compense pas une trajectoire mal enregistrée ou l’absence de données sur la force appliquée.

Les ensembles de données peuvent aussi être imparfaits : caméra partiellement masquée, bruit des capteurs, fond visuel changeant, consigne ambiguë ou démonstration humaine incomplète. L’entraînement sur des cas variés peut rendre un système moins fragile face à ces imperfections. Il ne le rend pas infaillible. Une erreur de perception, une mauvaise synchronisation entre capteurs ou une situation absente des données d’entraînement restent susceptibles de provoquer un comportement incorrect.

Le raisonnement peut-il rendre un robot plus habile ?

Le terme « raisonnement » recouvre plusieurs réalités. Dans le contexte des LLM, il désigne souvent la capacité apparente à décomposer une demande en sous-objectifs : identifier l’objet demandé, vérifier que le passage est dégagé, choisir une étape intermédiaire, puis expliquer pourquoi une action est nécessaire. Cette capacité de planification par le langage peut être précieuse pour des tâches longues ou des environnements changeants.

Un robot assistant pourrait par exemple recevoir la demande « apporte-moi le médicament posé près de l’évier ». Un composant fondé sur le langage peut reformuler l’objectif, aider à désambiguïser l’objet recherché et organiser les étapes. Le système de perception doit ensuite retrouver les éléments dans la scène. Enfin, le contrôleur robotique doit calculer les mouvements précis, respecter ses limites mécaniques et s’arrêter en cas de risque.

Cette séparation des rôles est essentielle. Un LLM ne calcule pas nécessairement, à lui seul, la trajectoire sûre d’une pince dans un espace encombré. Les robots reposent aussi sur des logiciels de contrôle, des règles de sécurité, des modèles physiques et des mécanismes de détection de collision. Le langage peut servir de couche d’interface ou de planification, mais il ne doit pas devenir le seul arbitre d’une action potentiellement dangereuse.

L’adaptation en temps réel ne signifie pas forcément un réentraînement instantané

L’expression « apprentissage en temps réel » peut prêter à confusion. Un système robotique peut recevoir des informations en direct, comme une nouvelle image, une instruction vocale ou un signal de force, puis adapter sa décision à cette situation. Cela ne veut pas dire que le modèle modifie immédiatement et de façon autonome tous ses paramètres d’entraînement.

Dans la plupart des cas, le modèle reste entraîné à l’avance. Pendant l’utilisation, il effectue une inférence : il analyse les données disponibles et produit une prédiction, un plan ou une action. Il peut aussi disposer d’une mémoire de tâche ou de règles lui permettant de corriger sa stratégie lorsque la scène change. Par exemple, s’il constate que l’objet visé a été déplacé, il peut relancer sa recherche visuelle ou demander une précision à l’utilisateur.

Modifier le modèle en production à partir de chaque nouvelle expérience est une opération plus complexe. Il faut vérifier la qualité des retours, éviter qu’une donnée erronée dégrade les performances et valider que la mise à jour ne crée pas de comportement inattendu. Dans les domaines sensibles, ces précautions sont indispensables. L’adaptabilité utile à un robot repose donc autant sur la perception en direct et la surveillance de ses actions que sur un hypothétique apprentissage continu.

Santé et assistance : des usages prometteurs, sous fortes contraintes

La santé illustre à la fois l’intérêt et les limites de cette évolution. Des images médicales peuvent fournir un contexte précieux à des systèmes d’assistance, tandis qu’un dialogue en langage naturel peut faciliter les échanges entre une machine et des professionnels. Dans un bloc opératoire, un robot peut être utilisé pour assister un geste, avec un chirurgien qui conserve la responsabilité de l’intervention. L’analyse d’images et les interfaces de commande peuvent compléter ce travail, mais elles ne retirent pas la nécessité d’une supervision humaine rigoureuse.

Les prothèses intelligentes constituent un autre terrain d’application envisagé. La capacité à interpréter des signaux et à ajuster une réponse motrice pourrait contribuer à des mouvements plus fluides. Là encore, les exigences sont considérables : précision, latence réduite, fiabilité du matériel, respect de la vie privée et validation clinique ne peuvent être traités comme de simples détails techniques.

Les robots destinés à l’assistance de personnes handicapées ou âgées soulèvent des questions comparables. Un système qui reconnaît des indices vocaux ou visuels peut personnaliser une interaction. En revanche, l’identification d’une personne par sa voix ou son apparence peut relever de données sensibles, parfois biométriques. L’amélioration technique doit donc aller de pair avec un cadre clair sur le consentement, la protection des données et les limites de l’automatisation.

Ce que représente réellement Nemotron pour la robotique

En octobre 2024, NVIDIA a dévoilé Llama 3.1 Nemotron 70B Instruct, souvent désigné simplement sous le nom de Nemotron. Le modèle compte 70 milliards de paramètres. NVIDIA le présente comme un modèle particulièrement performant pour suivre des instructions et indique des résultats supérieurs à ceux de GPT-4o et de Claude 3.5 Sonnet sur certains benchmarks de préférence et d’instructions.

Cette annonce est significative pour l’écosystème des LLM, notamment parce que des modèles plus performants en compréhension et en planification peuvent servir de composants à des systèmes robotiques. Toutefois, Nemotron 70B est un modèle de langage, pas un contrôleur robotique multimodal prêt à commander directement une machine. Ses résultats sur des évaluations conversationnelles ou de suivi d’instructions ne démontrent pas, à eux seuls, sa capacité à saisir un objet fragile, à éviter une collision ou à s’adapter à un capteur défaillant.

La distinction importe pour lire correctement les annonces du secteur. Un benchmark de LLM renseigne sur certaines compétences linguistiques et de raisonnement. Une évaluation robotique doit aussi mesurer la réussite physique des gestes, la robustesse dans des environnements nouveaux, la vitesse de réaction, le taux d’erreurs et la capacité à s’arrêter en sécurité. Le passage du texte à l’action reste l’un des défis les plus exigeants de l’intelligence artificielle.

Ce qu’il faut surveiller dans les prochaines étapes

Le développement des robots fondés sur des modèles multimodaux dépendra moins d’une seule percée que de la progression simultanée de plusieurs briques. La première concerne les données : elles devront être plus diversifiées, mieux documentées et reliées à des démonstrations d’actions fiables. La deuxième concerne l’évaluation : les tests devront sortir des scènes très contrôlées pour mesurer ce qui se passe lorsque les objets changent, que l’éclairage varie ou qu’un humain intervient.

Il faudra aussi observer la façon dont les acteurs articulent modèles généralistes et expertise spécifique. Un grand modèle peut faciliter la compréhension d’une instruction et la généralisation entre plusieurs tâches. Mais un robot destiné à un usage précis aura encore besoin de capteurs adaptés, de contrôleurs éprouvés et de garde-fous conçus pour son environnement réel.

Enfin, les promesses d’interaction naturelle devront être confrontées aux exigences de confidentialité et de sécurité. Donner des ordres à un robot avec sa voix ou lui montrer un objet est séduisant. Dans un hôtel, un domicile, un établissement de soins ou un atelier, l’utilité de cette simplicité dépendra de la confiance accordée au système, de sa capacité à reconnaître ses limites et de la possibilité, pour un humain, de reprendre la main à tout moment.