Au MIT, l’IA générative crée des mondes virtuels pour entraîner les robots

Un robot qui doit ranger une cuisine, saisir un objet fragile ou circuler entre des tables ne peut pas apprendre uniquement dans un décor vide et parfaitement ordonné. Dans le monde réel, les objets s’accumulent, les configurations changent et les imprévus sont la règle. Au 7 octobre 2025, des chercheurs du laboratoire CSAIL du MIT proposent d’utiliser l’IA générative pour créer, à grande échelle, ces situations d’entraînement virtuelles dont la robotique a besoin.

Leur approche, appelée Steerable Scene Generation, ne se contente pas de produire des images séduisantes. Son ambition est de composer des scènes en trois dimensions qui répondent à une demande précise et offrent au robot un terrain d’apprentissage crédible. Une cuisine avec des fruits sur la table, un garde-manger chargé ou une table de restaurant encombrée deviennent ainsi des cas de figure que l’on peut multiplier et modifier sans construire physiquement chaque décor.

Pourquoi les robots ont besoin de mondes virtuels variés

L’entraînement virtuel est une étape essentielle du développement robotique. Faire répéter directement une tâche à une machine dans le monde réel est souvent lent, coûteux et parfois risqué pour le matériel, les objets manipulés ou les personnes présentes. La simulation permet à un robot d’effectuer de très nombreux essais avant d’être confronté à une situation réelle.

Mais cette solution a une faiblesse : un robot entraîné dans un nombre limité de décors risque d’être déstabilisé dès que la réalité s’écarte de ce qu’il a vu. Une tasse posée à un endroit inattendu, une assiette qui masque partiellement un ustensile ou une étagère plus remplie que prévu peuvent suffire à faire échouer une tâche apparemment simple.

Les environnements numériques classiques demandent beaucoup de travail humain. Il faut sélectionner les objets, les modéliser, les placer, définir leur position et créer de multiples variantes. Or, pour apprendre à généraliser, un robot doit rencontrer une quantité considérable de configurations : objets proches ou éloignés, surfaces encombrées ou dégagées, éléments partiellement cachés, pièces organisées de façons différentes.

C’est précisément là que l’IA générative peut intervenir. Au lieu de concevoir chaque scène une par une, elle peut proposer des combinaisons nouvelles tout en respectant des consignes. L’objectif n’est pas de remplacer les simulations existantes, mais de les enrichir avec une diversité difficile à obtenir manuellement.

Comment fonctionne Steerable Scene Generation

Le système du MIT repose notamment sur un modèle de diffusion. Ce type d’IA générative part d’un signal aléatoire, souvent assimilé à du bruit, puis le transforme progressivement pour faire émerger un résultat cohérent. Les modèles de diffusion sont largement connus pour la génération d’images, mais leur emploi ici vise la construction de scènes servant à l’interaction robotique.

La particularité de Steerable Scene Generation tient au mot « steerable », que l’on peut traduire par orientable ou pilotable. Les chercheurs ne veulent pas seulement produire une scène aléatoire : ils cherchent à guider la génération afin qu’elle satisfasse des contraintes utiles à une tâche. Un utilisateur peut, par exemple, demander une scène correspondant à « une cuisine avec quatre pommes et un bol sur la table ».

Une telle demande paraît simple pour un humain. Pour une machine, elle comporte pourtant plusieurs conditions : la pièce doit ressembler à une cuisine, le nombre de pommes doit être respecté, un bol doit être présent et les objets doivent être disposés de manière exploitable. La génération doit donc concilier réalisme visuel, diversité et conformité à l’instruction.

Pour y parvenir, l’approche intègre une recherche basée sur l’algorithme MCTS, pour Monte Carlo Tree Search, ou recherche par arbre de Monte Carlo. Cette méthode examine différentes possibilités sous la forme de branches, évalue des options intermédiaires puis privilégie celles qui semblent les plus prometteuses au regard de l’objectif fixé. Dans ce cas, elle aide le système à formuler plusieurs scènes alternatives avant de retenir une configuration adaptée.

L’enjeu ne consiste donc pas à inventer n’importe quel décor. Il s’agit de créer des environnements qui donnent du sens aux actions du robot : repérer un objet, l’atteindre, éviter les obstacles, saisir ce qui est demandé ou comprendre qu’un élément est caché derrière un autre.

Des tables de restaurant deux fois plus chargées

Les essais décrits par les chercheurs illustrent l’intérêt de cette génération contrôlée. Steerable Scene Generation a notamment servi à créer des scènes de restaurant contenant jusqu’à 34 objets sur une table. Les modèles de départ utilisés pour l’entraînement reposaient, eux, sur des scènes comptant seulement 17 éléments.

Ce doublement de la densité d’objets est significatif. Une table plus chargée rend la perception plus difficile : certains objets se chevauchent visuellement, les espaces de préhension se réduisent et le robot doit tenir compte des éléments qui l’entourent avant d’agir. C’est aussi une situation proche de nombreux environnements ordinaires, où l’espace de travail est rarement parfaitement dégagé.

Les chercheurs évoquent également des scènes familières, comme une cuisine ou un salon. Ces lieux sont particulièrement intéressants pour la robotique de service, car ils concentrent des objets de tailles, de formes et d’usages très variés. Ils obligent le système à raisonner sur des relations spatiales simples, mais cruciales : un objet est sur une table, près d’un autre, dans une étagère ou derrière un élément du décor.

Des résultats qui mesurent le respect des consignes

La valeur d’un tel outil dépend de sa capacité à suivre la demande formulée. Générer une scène spectaculaire mais qui oublie la moitié des objets requis ne serait guère utile pour entraîner un robot à une tâche bien définie. C’est pourquoi les performances rapportées s’intéressent à des contextes précis.

Pour les étagères de garde-manger, le système atteint un taux de 98 %. Pour les tables de petit-déjeuner encombrées, ce taux est de 86 %. Ces écarts rappellent que tous les environnements ne présentent pas le même niveau de difficulté. Une table chaotique, où les objets sont nombreux et les agencements possibles très variés, offre davantage d’occasions de produire une configuration imparfaite.

Ces chiffres ne signifient pas qu’un robot réussit automatiquement 98 % ou 86 % de ses manipulations dans le monde réel. Ils renseignent sur la capacité du processus à répondre aux critères des scènes évaluées. C’est néanmoins une étape déterminante : pour que l’entraînement soit utile, le monde virtuel doit correspondre à la situation que les ingénieurs souhaitent faire pratiquer à la machine.

La possibilité de demander des descriptions spécifiques apporte également une forme de personnalisation. Un concepteur pourrait vouloir préparer un robot à identifier des fruits sur une table, à naviguer près de chaises ou à manipuler des objets dans une cuisine. Il peut alors chercher à générer des scènes qui placent le robot face aux bonnes difficultés, plutôt que de l’exposer à des décors génériques.

Quel rôle joue l’apprentissage par renforcement ?

Steerable Scene Generation intègre aussi un processus d’apprentissage par renforcement pour améliorer progressivement la production de scénarios. Le principe général est de définir un objectif mesurable, puis d’attribuer un score aux résultats qui s’en approchent. Avec les retours obtenus, le système apprend à favoriser les choix qui maximisent ce score.

Dans le cadre de la génération de scènes, ce mécanisme peut aider à produire des environnements de plus en plus pertinents pour les tâches visées. Il ne s’agit pas seulement de rendre le décor plausible pour l’œil humain. Une scène utile à la robotique doit aussi mettre en présence les bons objets et les bonnes contraintes, afin que les essais du robot aient une valeur d’apprentissage.

La recherche MCTS et l’apprentissage par renforcement répondent à des besoins complémentaires. La première explore des possibilités pour sélectionner une scène convenable. Le second apporte un cadre d’optimisation permettant d’orienter le système vers les résultats souhaités au fil des générations.

Les limites à ne pas perdre de vue

Un environnement visuellement cohérent n’est pas nécessairement une simulation physiquement parfaite. Dans le monde réel, les objets ont un poids, une friction, des formes parfois irrégulières et des comportements difficiles à prévoir. Un robot qui apprend à déplacer un bocal virtuel doit ensuite composer avec un véritable bocal, éventuellement mal placé, transparent, lourd ou glissant.

La cohérence des scènes reste donc un enjeu essentiel. L’approche du MIT s’appuie sur la recherche par arbre de Monte Carlo pour éviter des configurations inadaptées et choisir des alternatives mieux alignées sur les contraintes. Mais il faudra encore veiller à ce que les positions, les contacts et les interactions représentés dans la simulation restent suffisamment fiables pour préparer des gestes réels.

Il existe aussi un risque de décalage entre les données de départ et les situations rencontrées hors simulation. Un système génératif peut créer de nombreuses variantes, mais la diversité n’est utile que si elle couvre des cas pertinents. Multiplier des décors fantaisistes ou irréalistes ne garantit pas un robot plus compétent. La qualité des objectifs fixés, des objets intégrés et des critères de sélection demeure décisive.

Jeremy Binagia, d’Amazon Robotics, souligne d’ailleurs la nécessité de poursuivre les progrès dans la simulation. Cette remarque reflète un constat partagé dans le secteur : bâtir des mondes virtuels assez riches pour préparer efficacement des robots au réel reste l’un des problèmes les plus difficiles de la discipline.

Ce qu’il faut surveiller

Les chercheurs du MIT envisagent d’étendre Steerable Scene Generation avec des objets articulés, tels que des placards ou des bocaux. Cette évolution est importante, car de nombreuses tâches quotidiennes ne se limitent pas à saisir un objet posé sur une surface. Ouvrir une porte, manipuler un couvercle ou interagir avec un meuble implique de comprendre des mouvements, des charnières et des positions changeantes.

L’ajout potentiel d’un catalogue d’objets réels issus d’Internet pourrait également enrichir les mondes générés. Plus le répertoire d’éléments est vaste, plus les scénarios peuvent se rapprocher de la variété rencontrée dans les maisons, les commerces ou les espaces de travail.

À terme, la promesse est celle d’un cycle d’apprentissage plus efficace : générer un environnement adapté, y faire pratiquer le robot, observer les difficultés, puis produire de nouveaux scénarios plus ciblés. La technologie ne supprime pas le besoin de tests physiques, mais elle pourrait réduire la part de répétitions coûteuses et élargir le nombre de situations que les machines apprennent à gérer avant leur arrivée sur le terrain.