Prédiction de mots et vidéo générative : ce que cela change pour les robots

Un robot qui entend « apporte-moi le verre posé près de l’évier » doit résoudre plusieurs problèmes à la fois : comprendre la phrase, repérer les objets, interpréter la scène, prévoir les conséquences de son geste et manipuler l’objet sans danger. Longtemps, ces compétences ont été traitées séparément. La convergence entre la prédiction du prochain mot et les modèles de diffusion vidéo esquisse une autre voie : apprendre, dans un même système, les liens entre langage, images, sons et évolution d’une scène au fil du temps.

L’idée est séduisante parce qu’elle rapproche l’intelligence artificielle des conditions du monde réel. Les humains n’observent pas une image figée avant de prendre une décision : ils suivent des mouvements, interprètent des paroles et anticipent la suite d’une action. Pour une machine, réunir ces sources d’information peut rendre la perception plus contextuelle. Cela ne transforme pas pour autant un modèle en robot autonome et infaillible. Entre la vidéo qu’il imagine et l’action qu’une machine exécute, il reste de nombreuses étapes à sécuriser.

Deux mécanismes différents, une ambition commune

La prédiction du prochain mot est le principe qui sous-tend les grands modèles de langage. Plus précisément, ces systèmes prédisent généralement le prochain token, une unité de texte qui peut correspondre à un mot entier, à une partie de mot ou à un signe de ponctuation. En étant entraîné sur d’immenses quantités de séquences textuelles, le modèle apprend les relations entre les mots, les formulations fréquentes et une partie des connaissances présentes dans ses données.

Appliqué à une consigne de robot, ce mécanisme aide à interpréter l’intention : « cherche la personne avec un manteau », « pose l’objet sur la table », « attends qu’elle ouvre la porte ». Mais le langage seul ne permet pas de savoir où se trouvent réellement la personne, la porte ou la table.

La diffusion vidéo, elle, relève de la génération visuelle. Un modèle de diffusion apprend à produire une image ou une suite d’images en partant d’un signal bruité qu’il affine progressivement. Dans sa version vidéo, il doit en plus préserver une cohérence temporelle : un objet ne doit pas changer arbitrairement de place ou d’apparence d’une image à l’autre, et un mouvement doit rester plausible d’une séquence à la suivante.

Le mot « diffusion » peut prêter à confusion. Il ne désigne pas la diffusion d’un programme sur Internet ni le simple traitement d’un flux de caméra. Il s’agit ici d’une famille de modèles génératifs. Leur rôle potentiel consiste à apprendre des régularités visuelles et temporelles : ce qui arrive souvent après qu’une main saisit une tasse, par exemple, ou comment une porte apparaît lorsqu’elle s’ouvre.

Pourquoi relier langage et vidéo ?

L’enjeu de cette fusion est la compréhension multimodale, c’est-à-dire la capacité de raisonner à partir de plusieurs types de données. Dans une séquence vidéo accompagnée d’une narration ou d’une instruction, le système peut apprendre qu’une phrase se rapporte à un objet, à une action ou à un événement précis. Il ne se contente alors plus d’associer l’étiquette « tasse » à une image de tasse : il peut aussi relier la tasse à des verbes comme prendre, remplir, poser ou renverser.

Cette association est particulièrement utile dans les scènes ordinaires, qui sont riches en implicite. Si un utilisateur dit « donne-moi celui qui est propre », un robot doit d’abord comprendre à quel type d’objet renvoie « celui », puis évaluer ce que le contexte visuel permet ou non de qualifier de propre. La vidéo ajoute une dimension décisive : elle montre les changements. Un objet est déplacé, une personne entre dans le champ, un placard s’ouvre, une main désigne une zone.

L’objectif n’est donc pas seulement de faire reconnaître des catégories d’objets. Il s’agit d’aider la machine à établir une relation entre une instruction, un environnement et une succession d’événements. Pour la vision par ordinateur, cela peut améliorer l’analyse de scènes complexes. Pour la robotique, cela peut fournir des signaux utiles à la navigation, à la manipulation et au dialogue avec une personne.

Anticiper une action sans prétendre lire l’avenir

L’une des promesses les plus fortes de cette approche est l’anticipation. Dans une scène domestique, un assistant robotisé pourrait détecter qu’une personne tend la main vers un objet ou se dirige vers une porte, puis adapter son comportement. Dans un contexte de recherche de personnes, il pourrait associer une description verbale à des éléments visibles et actualiser sa recherche au fil de ses observations.

Il faut toutefois employer le terme « prédire » avec prudence. Un modèle ne connaît pas l’avenir. Il calcule, à partir de ce qu’il a appris et de ce qu’il observe, quelles suites sont les plus cohérentes ou les plus probables. Or une scène réelle reste ouverte aux imprévus : quelqu’un peut changer d’avis, un objet peut glisser, un obstacle peut surgir hors du champ de la caméra.

La génération d’une suite vidéo plausible ne suffit donc jamais à autoriser une action. Dans un robot fiable, la prédiction doit être confrontée aux capteurs présents, aux règles de sécurité et aux retours immédiats du monde physique. Si le robot estime qu’une tasse est à portée de sa pince, il doit encore confirmer sa position, calculer sa trajectoire et détecter toute résistance inhabituelle pendant le mouvement.

De la scène imaginée au geste réel : le chaînon manquant

La difficulté centrale est là. Les modèles de langage et les générateurs vidéo excellent à produire des séquences plausibles, textuelles ou visuelles. Un robot, lui, doit produire des actions dans un espace physique. Il doit composer avec le poids des objets, les frottements, les distances, les angles, les personnes présentes et les limites de son matériel.

Les recherches en robotique cherchent donc à rapprocher trois composantes : la perception, qui interprète les capteurs ; la planification, qui choisit une suite d’étapes ; et le contrôle, qui commande concrètement les moteurs. Les modèles dits vision-langage-action s’inscrivent dans cette logique. Ils tentent de faire correspondre les informations visuelles et les instructions en langage naturel avec des commandes d’action, par exemple saisir, déplacer ou orienter un bras robotisé.

Une fusion entre prédiction lexicale et diffusion vidéo pourrait enrichir cette chaîne. Le langage donnerait le but et les contraintes formulées par l’utilisateur. La vidéo apporterait une représentation des événements et des changements dans la scène. Le contrôleur robotique, enfin, devrait convertir cette compréhension en gestes vérifiables. Ce dernier niveau ne peut pas être négligé : une réponse verbalement convaincante ou une animation fluide ne disent rien, à elles seules, de la précision mécanique d’un robot.

Les modèles de diffusion peuvent aussi avoir un intérêt hors du fonctionnement immédiat du robot. En générant ou en simulant des séquences visuelles variées, ils pourraient aider les chercheurs à préparer des systèmes à davantage de situations. Mais une scène synthétique ne remplace pas automatiquement les données du réel. Les capteurs d’un robot, les reflets, les ombres, le désordre d’un logement ou les comportements humains introduisent une diversité difficile à reproduire parfaitement.

Des données multimodales exigeantes à aligner

Réunir texte, vidéo, son et action ne consiste pas à juxtaposer des bases de données. Il faut les aligner avec précision. Pour qu’un système apprenne qu’un ordre oral se rapporte au geste montré, il faut connaître le bon moment où la parole a été prononcée, l’objet concerné et l’effet de l’action. Une erreur d’annotation ou de synchronisation peut conduire le modèle à apprendre une mauvaise association.

La qualité des données est tout aussi déterminante. Les scènes doivent couvrir des environnements divers, différents types d’objets, de luminosité, de voix, de langues et de comportements. Un système entraîné dans un cadre très contrôlé risque d’échouer lorsqu’il est confronté à un appartement encombré, à une cuisine inconnue ou à une consigne imprécise. Ce problème, souvent appelé généralisation, est l’un des principaux freins au passage du laboratoire au monde quotidien.

Les ressources nécessaires constituent une autre limite. L’entraînement de grands modèles multimodaux et vidéo exige des données importantes ainsi qu’une forte puissance de calcul. Leur utilisation peut également être coûteuse et trop lente pour certaines tâches qui imposent une réaction rapide. Dans un usage robotique, la question n’est pas seulement de produire la meilleure réponse possible, mais de la produire assez vite et avec assez de fiabilité pour ne pas créer de danger.

Assistance, analyse comportementale : des usages à encadrer

L’assistance robotique est l’un des terrains les plus naturels pour ces travaux. Un robot capable de suivre une instruction vocale tout en observant une pièce pourrait apporter une aide plus adaptée aux personnes qui en ont besoin. Il pourrait notamment mieux contextualiser une demande et réduire les échanges répétitifs nécessaires pour désigner un objet ou un emplacement.

Mais ces capacités soulèvent immédiatement des questions de vie privée. Une machine qui interprète en continu des vidéos, des voix et des gestes peut collecter des données très sensibles sur le domicile, les habitudes, les déplacements ou l’état apparent d’une personne. L’analyse comportementale et la recherche d’humains sont particulièrement délicates, car elles peuvent entraîner de la surveillance excessive, des erreurs d’identification ou des décisions injustifiées.

Des principes simples s’imposent : ne collecter que les données nécessaires, informer clairement les personnes concernées, protéger les enregistrements, limiter leur conservation et maintenir un contrôle humain pour les usages sensibles. Il faut aussi prévoir des procédures lorsque le système se trompe. Dans un lieu accueillant du public, un robot ne devrait pas traiter une hypothèse issue d’une vidéo comme un fait établi sur une personne.

Les assistants vocaux et textuels illustrent déjà l’intérêt des entreprises pour des interactions plus naturelles. Microsoft développe ainsi les fonctionnalités vocales de Copilot, tandis que Brave met en avant Leo comme assistant attentif à la protection des données. Ces services ne sont pas des robots capables de se déplacer dans un logement, mais ils participent à la même évolution vers des interfaces où la parole devient une entrée centrale. La robotique ajoute à cette équation une contrainte décisive : l’IA ne répond pas seulement, elle peut aussi agir dans l’espace.

Ce qu’il faut surveiller

En octobre 2024, la combinaison de prédiction linguistique, de compréhension vidéo et de modèles génératifs ouvre une piste de recherche ambitieuse pour la vision par ordinateur et la robotique. Son intérêt tient à une idée simple : un système qui relie mieux les mots, les images et le déroulement d’une action peut fournir une assistance plus pertinente qu’un système qui traite ces signaux isolément.

Les prochaines avancées devront toutefois être jugées sur des critères concrets. Les robots comprennent-ils les demandes ambiguës ? Restent-ils fiables dans des environnements inconnus ? Peuvent-ils signaler leurs doutes et céder la main à un humain ? Leur traitement des images et des voix respecte-t-il les personnes filmées ou entendues ? Enfin, leurs modèles peuvent-ils fonctionner avec une latence et une consommation de ressources compatibles avec un usage réel ?

La vidéo générative ne doit pas être confondue avec une connaissance parfaite du monde, et la prédiction du prochain mot ne donne pas à une machine une compréhension humaine. En les associant à des capteurs, à des contrôles physiques rigoureux et à des règles d’usage claires, la recherche peut néanmoins rapprocher les robots d’une compétence essentielle : agir de façon utile parce qu’ils interprètent mieux le contexte, tout en sachant que leur interprétation peut être incomplète.