PRoC3S : le MIT apprend aux robots à reconnaître leurs limites

Un robot ne devient pas fiable parce qu’il sait interpréter une phrase en langage naturel. S’il doit ranger une cuisine, trier des objets ou écrire une lettre, il doit aussi déterminer si son bras peut atteindre l’objet, si sa trajectoire évite les obstacles et si chacune des étapes prévues est compatible avec son environnement. C’est ce décalage entre une consigne générale et les limites très concrètes d’une machine que des chercheurs du MIT cherchent à réduire avec PRoC3S.

Présentée en décembre 2024 par des équipes du Computer Science and Artificial Intelligence Laboratory, ou CSAIL, cette méthode associe la souplesse des grands modèles de langage à un contrôle par simulation. Son objectif n’est pas de donner au robot une conscience de lui-même. Il s’agit de lui apprendre, au sens opérationnel, à écarter les actions qui ne peuvent pas être accomplies de façon sûre et à chercher une autre manière de parvenir au résultat demandé.

Pourquoi un robot doit-il connaître ses limites ?

Dans un environnement réel, une intention apparemment simple recouvre une longue série de décisions. « Prends cet objet » implique de savoir où il se trouve, de choisir une manière de l’attraper, de vérifier que le bras peut s’y rendre, puis de prévoir un déplacement qui ne heurte ni le mobilier ni les autres objets. Une formulation correcte en langage naturel ne garantit aucunement que cette succession de gestes est possible.

Les limites d’un robot sont d’abord physiques. Elles concernent notamment l’amplitude de ses articulations, l’espace qu’il occupe lorsqu’il bouge, sa capacité à saisir un objet et les risques de collision. Elles dépendent aussi de la scène : un objet peut être trop loin, bloqué par un autre, ou placé dans une zone où le robot ne peut pas adopter la bonne position.

Ces contraintes deviennent particulièrement importantes pour les tâches ouvertes. À la différence d’une tâche industrielle répétée dans une cellule soigneusement aménagée, une tâche ouverte est formulée de manière générale et laisse plusieurs façons d’atteindre le but. Dans une maison, par exemple, la disposition des objets varie, les demandes sont moins précises et les situations imprévues sont nombreuses.

L’enjeu est double. Il faut rendre le robot plus utile, puisqu’il peut traiter des demandes moins rigides, mais aussi plus prudent. Un système qui identifie assez tôt qu’une action échouera évite de persister dans une mauvaise direction, avec les conséquences que cela peut avoir pour les objets, l’environnement et les personnes proches.

PRoC3S : faire imaginer un plan, puis le confronter au réel simulé

Le nom PRoC3S signifie Planning for Robots via Code for Continuous Constraint Satisfaction. Le principe est d’utiliser un grand modèle de langage, ou LLM, pour élaborer un plan d’action, tout en ne lui laissant pas le dernier mot sur la faisabilité de ce plan.

Dans la première étape, le LLM reçoit une tâche et propose une séquence d’actions. Les modèles de langage sont pertinents pour ce rôle car ils peuvent transformer une instruction générale en étapes : organiser un objectif, choisir un ordre d’exécution et envisager plusieurs moyens de le remplir. Mais ils ne disposent pas, par eux-mêmes, d’une compréhension garantie de la géométrie d’une pièce ou des mouvements exacts d’un bras robotique.

PRoC3S soumet donc ce plan à un environnement virtuel. La simulation permet au robot d’examiner les conséquences de ses gestes proposés : peut-il atteindre l’objet ? Sa trajectoire entre-t-elle en conflit avec un obstacle ? Les différentes positions à adopter respectent-elles ses contraintes ? Si la réponse est non, le système ne passe pas directement à l’action. Le modèle génère une nouvelle stratégie, et le processus se répète jusqu’à l’obtention d’une solution réalisable.

Le mot « continu » dans le nom de la méthode renvoie à un point essentiel de la robotique : les positions et les mouvements ne se réduisent pas à une liste de choix abstraits. Entre deux points, un bras traverse un espace. Un plan doit donc fonctionner tout au long du mouvement, et pas seulement au départ et à l’arrivée.

Cette phase virtuelle joue ainsi le rôle d’un filtre. Elle ne transforme pas automatiquement une simulation en garantie absolue dans le monde physique, où les capteurs, les objets et les conditions d’exécution peuvent introduire des écarts. Elle permet en revanche de ne pas confier à un modèle de langage seul la validation de gestes qui doivent respecter des contraintes matérielles.

Des résultats prometteurs sur le tri et l’écriture

Les expériences décrites par l’équipe du MIT ont été menées en simulation. PRoC3S y a permis à des robots de trouver de manière autonome des solutions pour plusieurs types de tâches, dont le tri d’objets et l’écriture de lettres. Selon les résultats présentés, la méthode a atteint un taux de réussite de 80 % dans la réalisation de plans d’action.

Ce résultat est présenté comme supérieur à celui de méthodes concurrentes telles que LLM3 et Code as Policies. La différence importante tient à la place accordée à la vérification : il ne suffit pas qu’un plan paraisse cohérent dans une description textuelle. Encore faut-il qu’il soit possible pour un robot particulier, dans une scène particulière.

Les démonstrations restent circonscrites à des simulations, ce qui appelle une lecture prudente. Un taux de réussite mesuré dans un environnement virtuel ne signifie pas qu’un robot domestique peut déjà prendre en charge sans difficulté toutes les tâches d’un foyer. En robotique, le passage de la simulation au monde réel demeure un défi : les objets peuvent se déplacer, les capteurs peuvent être imprécis et les conditions initiales ne sont jamais parfaitement identiques.

Pourquoi les modèles de langage ne suffisent pas à piloter un robot

Les grands modèles de langage ont montré qu’ils pouvaient rédiger, résumer, programmer ou organiser des raisonnements sous forme de texte. Cette faculté les rend intéressants pour décomposer une demande humaine en sous-tâches. Un robot auquel on demande de préparer un petit déjeuner doit en effet coordonner de nombreux objectifs : identifier les éléments nécessaires, les localiser, les manipuler et les disposer dans un ordre cohérent.

Pour autant, un LLM n’est pas un moteur de sécurité robotique. Il produit des réponses plausibles au regard de ses données d’apprentissage, sans disposer naturellement d’une représentation fiable et actualisée de chaque obstacle, de chaque mouvement disponible et de chaque conséquence physique. Une instruction peut donc être bien formulée tout en étant irréaliste pour la machine qui doit l’exécuter.

Eric Rosen, cité comme spécialiste de la sécurité, souligne le risque de comportements non fiables lorsque des modèles comme ChatGPT sont employés pour contrôler les actions de robots. PRoC3S répond à cette difficulté en ajoutant un niveau de raisonnement sur l’environnement. Le modèle de langage sert à proposer, mais la simulation sert à vérifier.

Cette répartition des rôles est importante. Elle évite de confondre la capacité à parler d’une action avec la capacité à la réaliser. Pour un système robotique, une bonne planification doit relier les mots aux contraintes du corps de la machine et au contexte matériel dans lequel elle évolue.

Des robots domestiques capables de traiter des demandes plus générales

Les chercheurs envisagent PRoC3S pour des environnements domestiques. Dans un tel cadre, les utilisateurs ne donneront vraisemblablement pas une liste détaillée de coordonnées et de mouvements. Ils formuleront plutôt des demandes comme « prépare-moi le petit déjeuner ». Le robot devra alors traduire cette instruction ouverte en un ensemble d’actions, tout en tenant compte de ses limites.

L’intérêt potentiel est évident : plus la demande est générale, plus l’interface avec la machine devient naturelle. Mais cette généralité augmente aussi la complexité. Préparer un repas suppose une chaîne de décisions, l’usage de nombreux objets et une adaptation aux particularités du lieu. Le robot doit pouvoir choisir un ordre d’action, constater qu’une tentative est impraticable, puis adopter un autre plan.

PRoC3S fournit une piste pour cette forme d’autonomie encadrée. Au lieu de s’en remettre à une réponse unique, le système explore des possibilités dans un univers numérique. Cette démarche peut aider à traiter des problèmes ouverts, à condition que la simulation représente suffisamment bien l’espace et les contraintes rencontrés par le robot.

Une collaboration entre langage, vision et simulation

Les travaux du MIT reposent aussi sur une collaboration entre plusieurs composantes de l’intelligence artificielle et de la robotique. Les ingénieurs s’appuient sur des modèles de vision et d’IA afin de construire des simulations réalistes. Pour qu’un plan soit évalué utilement, l’environnement virtuel doit en effet représenter les objets, leurs positions et les interactions pertinentes.

La vision sert à percevoir une scène, tandis que le modèle de langage aide à organiser une tâche décrite par un humain. La simulation relie ensuite ces éléments à la mécanique du robot. Aucun de ces outils ne résout isolément le problème : c’est leur combinaison qui donne au robot la possibilité d’évaluer des actions envisageables.

Cette architecture illustre une évolution plus large de la robotique. Les machines ne sont plus seulement programmées pour reproduire un geste fixé à l’avance. Elles doivent de plus en plus interpréter des objectifs, percevoir leur environnement et ajuster leur plan. Mais cette flexibilité n’a de valeur que si elle reste compatible avec des vérifications explicites sur ce que le robot peut réellement faire.

Ce qu’il faut surveiller pour passer à des robots plus autonomes

La prochaine étape envisagée par l’équipe consiste à intégrer des simulateurs physiques plus sophistiqués. Des simulations plus riches pourraient prendre en compte des situations plus complexes et renforcer la capacité du système à traiter des tâches exigeantes.

Les chercheurs évoquent également des éléments de navigation dynamique. Cette perspective est particulièrement pertinente pour la robotique mobile : un robot qui se déplace doit planifier non seulement les gestes de son bras, mais aussi ses déplacements dans un espace susceptible d’évoluer. Les robots quadrupèdes figurent parmi les plateformes qui pourraient bénéficier de cette approche.

La question centrale sera celle de l’écart entre le plan simulé et l’action réelle. Plus un robot agit à proximité des humains, plus il doit disposer de moyens fiables pour percevoir les changements, réévaluer ses décisions et respecter ses contraintes. PRoC3S propose une réponse méthodique : laisser l’IA générative participer à la planification, sans lui demander de décider seule de ce qui est physiquement sûr. C’est cette articulation entre capacité d’initiative et vérification qui pourrait compter pour les futures machines appelées à évoluer hors des environnements entièrement contrôlés.