Prédire les mots et les images : la piste pour des robots plus attentifs

Pour aider une personne dans une cuisine, un robot ne peut pas se contenter d’identifier une tasse sur une image. Il doit comprendre la demande formulée à voix haute, repérer le geste qui accompagne la parole, suivre les déplacements autour de lui et adapter sa réaction si l’objet tombe ou si quelqu’un change d’avis. C’est précisément le type de compréhension globale que cherche à renforcer l’IA multimodale.

Une piste de recherche consiste à rapprocher deux familles de modèles : ceux qui prédisent la suite d’un texte, à la manière des grands modèles de langage, et ceux qui génèrent ou représentent des vidéos par diffusion. L’idée n’est pas de confondre des mots avec des images. Il s’agit plutôt de faire travailler ensemble des informations de nature différente afin qu’une machine puisse mieux relier ce qui est dit, ce qui est visible et ce qui est susceptible d’arriver ensuite.

Au 17 octobre 2024, cette convergence attire l’attention en vision par ordinateur et en robotique. Elle est porteuse pour les robots d’assistance, mais elle ne résout pas à elle seule les difficultés de la perception et du contrôle dans le monde réel.

Deux méthodes qui n’apprennent pas de la même façon

L’expression « prédiction du prochain mot » est un raccourci courant. En pratique, un modèle de langage moderne prédit généralement le prochain token, c’est-à-dire une unité de texte qui peut correspondre à un mot, à une partie de mot ou à un signe de ponctuation. Répétée très vite sur une grande séquence, cette opération permet de produire une phrase, de répondre à une question ou de proposer une suite cohérente à une instruction.

La diffusion vidéo répond à une logique différente. Un modèle de diffusion apprend à transformer progressivement du bruit en contenu visuel. Pour une vidéo, il doit en outre préserver une cohérence d’une image à l’autre : un bras ne doit pas changer de position sans raison, un objet ne doit pas disparaître entre deux images et une action doit conserver un déroulé plausible dans le temps.

Ces deux approches ont un point commun important pour la robotique : elles cherchent à modéliser une suite. Le langage est une suite de tokens, la vidéo une suite d’images, et l’action d’un robot une suite de commandes. Toutefois, leurs données, leurs coûts de calcul et leurs critères de réussite restent très différents.

Que signifie réellement fusionner langage et vidéo ?

La fusion multimodale ne renvoie pas à une recette unique. Elle peut prendre plusieurs formes. Un système peut, par exemple, utiliser une instruction textuelle pour guider l’analyse d’une séquence filmée. Il peut aussi apprendre une représentation commune : les mots « prendre le verre » et les images montrant une main saisir un verre se retrouvent alors associés dans un même espace de calcul. Une autre possibilité est d’entraîner un modèle sur des ensembles de vidéos accompagnées de descriptions, de dialogues ou de signaux issus de capteurs.

L’objectif est de réduire l’écart entre une commande abstraite et une scène concrète. La phrase « pose-le sur la table » ne suffit pas si la machine ne sait pas quel objet désigne « le », où se trouve la table, si une personne l’occupe déjà, ou si un obstacle rend le trajet dangereux. Inversement, la caméra peut détecter plusieurs objets semblables sans savoir lequel intéresse l’utilisateur.

La vidéo ajoute une dimension essentielle : le temps. Une image fixe peut montrer une main près d’une porte. Une séquence permet de distinguer une personne qui s’apprête à l’ouvrir d’une personne qui la referme. Pour un robot, cette différence modifie totalement l’action appropriée.

Il faut néanmoins éviter un raccourci : anticiper une action n’est pas lire les intentions avec certitude. Un bon système doit gérer plusieurs hypothèses, vérifier ses observations et, quand le doute est trop grand, demander une précision ou adopter un comportement prudent.

Pourquoi la robotique d’assistance est particulièrement concernée

Les robots industriels évoluent souvent dans des environnements très structurés, avec des objets positionnés de manière prévisible et des gestes répétés. La robotique d’assistance fait face à une situation bien plus ouverte. Dans un logement, un hôpital ou un espace d’accueil, les objets changent de place, les personnes s’expriment de façons diverses et les événements inattendus sont fréquents.

Relier parole, vidéo et mouvement peut aider une machine à interpréter ces variations. Imaginons qu’un utilisateur dise « attention, derrière toi » tout en désignant un passage. Un système limité au texte ne voit pas l’obstacle. Un système limité à l’image peut détecter une personne, mais ne saisit pas forcément l’urgence ni la direction évoquée. Un modèle multimodal a, en théorie, davantage d’éléments pour choisir entre s’arrêter, se retourner ou demander confirmation.

Cette logique vaut aussi pour la reconnaissance des gestes. Le mouvement de la main peut signifier « donne-moi cet objet », « attends », ou simplement accompagner une conversation. Le son, le texte issu de la parole et l’évolution de la scène servent alors de contexte mutuel.

La promesse est donc moins celle d’un robot qui devine tout que celle d’un robot qui commet moins de contresens. Dans une interaction humaine, cette capacité dépend d’une combinaison de compétences : perception, mémoire de la conversation, anticipation à court terme et contrôle fiable du mouvement.

PaLM-E, un exemple de rapprochement entre langage et monde physique

Le projet PaLM-E, présenté par Google en 2023, est fréquemment cité pour illustrer cette orientation. Son nom renvoie à un modèle de langage multimodal « incarné », conçu pour connecter un grand modèle de langage à des entrées venant notamment d’images et de données robotiques.

L’intérêt d’un tel système tient à son changement de perspective. Au lieu de traiter la robotique comme une simple succession de coordonnées et la conversation comme un module séparé, l’architecture tente de placer dans un même raisonnement une question formulée par un humain, une observation visuelle et des informations liées au robot. Elle peut ainsi associer des requêtes en langage naturel à des tâches ancrées dans l’environnement.

PaLM-E ne doit pas être compris comme la preuve qu’un modèle de langage peut remplacer à lui seul tous les logiciels de navigation et de contrôle. Un robot qui manipule un objet a encore besoin de mécanismes capables de gérer les trajectoires, les forces, les limites mécaniques et les règles de sécurité. L’apport des grands modèles multimodaux se situe surtout à un niveau de compréhension et de planification : ils peuvent aider à déterminer quoi faire et avec quel contexte, tandis que des systèmes spécialisés réalisent le mouvement.

Une caméra unique peut-elle suffire à localiser un robot ?

Les travaux sur la vision monoculaire, c’est-à-dire fondée sur une seule caméra, s’inscrivent dans la même recherche d’autonomie. Une caméra peut donner de nombreux indices sur une scène : contours, textures, mouvements apparents, position relative des objets et changements entre deux images. Cela ouvre la voie à des systèmes plus simples à installer que des dispositifs équipés de plusieurs caméras ou de capteurs de profondeur.

Mais une image monoculaire comporte une ambiguïté fondamentale : elle ne fournit pas directement la distance réelle d’un objet. Une petite tasse proche et un grand objet éloigné peuvent occuper une place comparable dans l’image. Pour estimer profondeur et déplacement, le robot doit exploiter le mouvement de la caméra, ses connaissances apprises sur les scènes ou d’autres mesures issues de ses capteurs.

La prédiction peut alors être utile pour stabiliser une estimation quand l’image est partiellement masquée ou lorsqu’un mouvement rapide rend l’observation incertaine. Elle ne remplace pas pour autant les données manquantes. Dans un couloir mal éclairé, face à une surface réfléchissante ou dans une pièce encombrée, le robot doit savoir reconnaître ses propres limites plutôt que de poursuivre une action sur une perception fragile.

Le temps réel reste le test décisif

Un assistant domestique ou un robot de service n’a pas le luxe d’analyser une scène pendant plusieurs secondes avant d’éviter un obstacle. Or les modèles multimodaux et les modèles de diffusion vidéo sont gourmands en mémoire et en puissance de calcul. Une vidéo contient beaucoup plus d’informations qu’une phrase courte, et chaque image ajoute un coût de traitement.

Pour fonctionner utilement, une architecture peut répartir les tâches. Un composant rapide surveille les risques immédiats, comme une collision ou une chute. Un autre interprète la demande de l’utilisateur. Un troisième, plus coûteux, peut raisonner sur une séquence plus longue ou proposer plusieurs scénarios possibles. Cette organisation ne supprime pas la latence, mais elle évite que chaque décision élémentaire dépende du modèle le plus lourd.

La qualité des données est tout aussi déterminante. Pour apprendre les interactions humaines, il faut des vidéos, des paroles, des descriptions et parfois des mesures de capteurs correctement synchronisées. Des données mal alignées peuvent apprendre au système de mauvaises associations : attribuer une parole à la mauvaise personne, confondre un geste avec une action ou généraliser un comportement observé dans un contexte trop étroit.

Enfin, les données audiovisuelles captées dans un logement, une école ou un établissement de soins soulèvent des questions de vie privée. Une innovation technique ne dispense pas de définir qui accède aux enregistrements, combien de temps ils sont conservés et comment les personnes concernées sont informées.

Ce qu’il faut surveiller pour juger les progrès

Les annonces autour de l’IA multimodale sont souvent impressionnantes parce qu’elles montrent des machines capables de décrire une image, de répondre à une consigne et de produire une démonstration visuelle. Pour la robotique, les critères les plus utiles sont plus concrets.

Il faudra d’abord observer la capacité des systèmes à réussir une même tâche dans des environnements variés, sans être réentraînés pour chaque cuisine, chaque objet ou chaque formulation. Il faudra aussi mesurer la rapidité de réaction, la faculté de récupérer après une erreur et le comportement adopté lorsque les capteurs se contredisent.

La question centrale reste celle de la fiabilité. Un robot réellement utile doit savoir quand il a compris, mais aussi quand il n’a pas assez d’informations pour agir sans risque. L’alliance entre prédiction linguistique et vidéo peut enrichir son contexte et son anticipation. Son succès dépendra toutefois de sa capacité à convertir cette compréhension en gestes sûrs, vérifiables et adaptés aux personnes qu’il assiste.