MotionGlot, l’IA qui traduit un texte en mouvements pour robots et avatars

Écrire « marche quelques pas en avant et tourne à droite » pour faire bouger un personnage numérique semble naturel. Obtenir une action cohérente à partir de cette phrase, qu’elle soit destinée à un avatar humain ou à un robot quadrupède, pose pourtant un problème complexe : les corps n’ont ni la même forme, ni les mêmes articulations, ni la même manière d’exécuter une intention. MotionGlot, un modèle mis au point à l’Université Brown, propose de relier directement le langage courant à la génération de mouvements.

L’idée ne consiste pas seulement à produire une animation visuellement plausible. Il s’agit de transformer une instruction écrite en une succession de positions et de déplacements, autrement dit en une trajectoire de mouvement. Cette approche pourrait intéresser la robotique, mais aussi l’animation, le jeu vidéo et la réalité virtuelle, où les créateurs cherchent à piloter rapidement des personnages ou des machines sans devoir définir manuellement chaque geste.

De la phrase à une trajectoire de mouvement

Les grands modèles de langage ont familiarisé le public avec un principe simple : une instruction écrite peut déclencher la génération d’un texte. MotionGlot transpose cette logique au mouvement. Au lieu de répondre par des mots, le système génère une séquence décrivant comment un corps doit évoluer pour réaliser l’action demandée.

L’utilisateur formule une consigne en langage naturel. Elle peut être élémentaire, par exemple « marcher quelques pas en avant et tourner à droite », ou associer plusieurs actions. Le modèle doit alors comprendre l’intention contenue dans la phrase, puis produire un mouvement adapté à l’entité à animer.

Cette dernière précision est déterminante. Un humain, un humanoïde, un chien ou un robot à quatre pattes ne marchent pas de la même manière. Pourtant, la notion de « marcher en avant » peut conserver un sens commun : avancer dans une direction en mobilisant son corps selon ses propres contraintes. MotionGlot ambitionne précisément de passer de cette intention générale à une exécution propre à chaque morphologie.

Pourquoi traiter le mouvement comme un langage ?

Le cœur de la démarche repose sur une analogie : le mouvement est abordé comme une langue. Dans un texte, un modèle de langage découpe une phrase en unités, souvent appelées tokens, et apprend les relations entre ces unités pour prédire la suite. MotionGlot applique une logique comparable aux données de mouvement.

Le modèle décompose ainsi les actions en éléments de mouvement pouvant être comparés à des mots. À partir de ces unités, il peut modéliser une succession de positions corporelles et générer les étapes nécessaires à l’accomplissement d’une consigne. L’enjeu est d’associer les descriptions textuelles aux séquences physiques correspondantes.

Cette méthode s’appuie sur des modèles de langage préexistants. Elle cherche notamment à faire bénéficier la génération de mouvements de capacités déjà développées pour interpréter des formulations différentes d’une même idée. Deux personnes peuvent demander à un système de se déplacer sans employer exactement les mêmes termes. La capacité à relier ces formulations à une intention physique est donc essentielle.

Sudarshan Harithas, doctorant en informatique à Brown et responsable du projet, présente cette vision du mouvement comme un langage comme une façon de traduire le sens d’une commande verbale en action corporelle. La comparaison ne signifie pas qu’un geste et un mot sont identiques. Elle fournit plutôt une méthode pour représenter, organiser et prédire des séquences de mouvements à partir d’instructions écrites.

Deux jeux de données pour relier humains et quadrupèdes

Pour apprendre ce lien entre texte et mouvement, MotionGlot a été entraîné sur deux jeux de données annotés, contenant chacun des heures de données. Le premier documente les actions de robots quadrupèdes. Le second s’intéresse aux mouvements de personnes réelles. Dans les deux cas, les mouvements sont accompagnés de descriptions ou d’annotations permettant au modèle de faire le rapprochement avec le langage.

L’intérêt de réunir ces deux sources est de ne pas enfermer le modèle dans une seule forme de corps. Une séquence correspondant à la marche humaine ne peut pas être simplement copiée sur un robot quadrupède. Les positions, les appuis et l’organisation du mouvement diffèrent profondément. Mais les données permettent au système d’apprendre qu’une intention telle que se déplacer, tourner ou reculer peut être exprimée de façon distincte selon l’incarnation concernée.

Le terme d’« incarnation » désigne ici le corps, réel ou virtuel, qui reçoit le mouvement : avatar humanoïde, robot à quatre pattes ou autre entité animée. C’est cette capacité à tenir compte de la morphologie qui distingue MotionGlot d’un outil limité à un seul squelette numérique ou à une seule plateforme robotique.

Une même intention, des corps qui se déplacent autrement

La promesse technique de MotionGlot est de pouvoir conserver le sens d’une instruction tout en modifiant sa traduction motrice. C’est une difficulté centrale en robotique et en animation : un ordre compréhensible pour un humain doit devenir une séquence exploitable par une machine ou un personnage doté d’un autre corps.

Les essais rapportés par l’équipe montrent que le modèle peut interpréter des directives composées, y compris des formulations qu’il n’avait pas rencontrées telles quelles pendant son entraînement. L’exemple cité est : « un robot marche à reculons, tourne à gauche puis avance ». La commande combine trois éléments, le recul, la rotation et la progression, qui doivent être mis dans le bon ordre.

Cette capacité de généralisation est importante. Dans un usage réel, il serait irréaliste de prévoir à l’avance chaque phrase qu’un utilisateur pourrait écrire. Un système utile doit plutôt reconnaître des instructions inédites en s’appuyant sur les relations apprises entre le langage et le mouvement.

Il faut néanmoins distinguer ce résultat de recherche d’une autonomie robotique complète. Générer une trajectoire cohérente à partir d’un texte ne garantit pas à lui seul qu’un robot pourra l’exécuter sans difficulté dans n’importe quel lieu. Un environnement physique apporte d’autres contraintes : obstacles, sol irrégulier, équilibre, détection de l’espace et sécurité des personnes alentour. MotionGlot traite la conversion entre l’instruction et le mouvement, une brique essentielle, mais non l’ensemble de ces problèmes.

Quels usages pour MotionGlot ?

L’animation numérique est l’un des débouchés les plus immédiats. Dans un jeu vidéo ou une expérience de réalité virtuelle, un créateur pourrait décrire une action avec des mots plutôt que régler une à une les positions du corps d’un personnage. Cela ne remplace pas nécessairement le travail des animateurs, qui construisent des gestes expressifs et maîtrisent leur rendu. En revanche, un tel système pourrait accélérer la création de séquences, de prototypes ou de comportements variés.

Pour la réalité virtuelle, la possibilité d’associer une demande textuelle à un avatar ouvre également des pistes d’interaction. Un utilisateur peut imaginer une scène ou demander une démonstration de mouvement, tandis que le système produit une représentation corporelle correspondante. Les domaines de la simulation et de la production vidéo font partie des applications envisagées par les chercheurs.

En robotique, l’intérêt est celui d’une communication plus directe entre une personne et une machine. Les commandes en langage courant sont plus accessibles que des outils de programmation ou des interfaces techniques. L’ambition est donc de réduire la distance entre ce qu’un humain veut exprimer et la manière dont un robot ou un avatar interprète cette demande.

Un projet de recherche, pas encore un assistant prêt à l’emploi

À la date de publication de ces travaux, le 9 mai 2025, MotionGlot relève encore de la recherche. Les chercheurs de Brown prévoient de présenter leurs résultats lors de la Conférence internationale sur la robotique et l’automatisation 2025, organisée à Atlanta. Cette conférence, souvent désignée par son sigle ICRA, est un rendez-vous important pour les travaux portant sur les robots et leurs méthodes de contrôle.

L’équipe indique aussi son intention de rendre le modèle et son code source accessibles au public. Une telle ouverture permettrait à d’autres chercheurs d’évaluer le système, de reproduire les résultats et d’explorer de nouveaux usages. Elle pourrait également favoriser l’adaptation du modèle à d’autres corps numériques ou robotiques.

Cette perspective mérite toutefois d’être formulée avec précision : l’ouverture annoncée est un objectif, et non la preuve qu’un outil grand public est déjà disponible. Entre une démonstration de recherche, un code mis à disposition et un produit utilisable dans des conditions variées, plusieurs étapes peuvent être nécessaires.

Ce qu’il faut surveiller

Les prochains résultats devront notamment montrer jusqu’où MotionGlot peut s’adapter à des formes de robots supplémentaires. Les données d’entraînement citées concernent les humains et les quadrupèdes. Étendre le principe à d’autres morphologies, ou à des robots conçus pour des tâches particulières, permettra de mesurer la portée réelle de cette approche.

La qualité du mouvement sera tout aussi importante que sa conformité littérale à une phrase. Une consigne peut être comprise, mais engendrer une animation peu naturelle ou une trajectoire difficile à exécuter. Les futurs travaux devront donc examiner à la fois l’interprétation linguistique, la fluidité des gestes et l’adaptation au corps visé.

Enfin, MotionGlot illustre une évolution plus large de l’intelligence artificielle : les modèles ne sont plus seulement employés pour générer du texte, des images ou du son. Ils commencent aussi à servir d’interface entre les mots et l’action. Si cette traduction devient suffisamment fiable, elle pourrait rendre la programmation de comportements physiques plus intuitive, tout en rappelant qu’un mouvement réel exige toujours de prendre en compte les limites du corps, de la machine et de son environnement.