PRoC3S : apprendre à un robot ses limites avant de lui confier une mission

Un robot capable de comprendre la consigne « range la cuisine » ne devient pas pour autant capable de l’exécuter sans risque. Il lui faut encore distinguer ce qui est atteignable de ce qui ne l’est pas, éviter les objets, choisir une trajectoire réaliste et renoncer lorsqu’une action excède ses capacités. C’est ce problème très concret que des chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT cherchent à traiter avec PRoC3S, une méthode qui combine modèles de langage, vision et simulation.

L’enjeu dépasse la démonstration technologique. Dans une usine, un entrepôt ou un logement, les environnements changent, les objets ne sont pas toujours à la même place et les consignes humaines restent souvent imprécises. Pour agir de façon utile, un robot doit donc disposer d’une marge d’autonomie. Pour agir de façon acceptable, cette autonomie doit être encadrée par des limites physiques et des vérifications.

Une tâche ouverte ne suit pas un scénario écrit à l’avance

Une tâche dite « ouverte » n’est pas une suite de gestes entièrement définie au préalable. Dans un cadre industriel traditionnel, un bras robotique peut répéter sans relâche le même mouvement dans une cellule balisée. Sa position, celle de l’objet et celle des outils sont connues. Le problème est beaucoup plus difficile lorsque le robot reçoit un objectif général, dans un lieu encombré ou variable.

Nettoyer une cuisine illustre cette différence. Le robot ne doit pas uniquement reconnaître un objet et le déplacer. Il doit évaluer s’il peut l’atteindre, déterminer quel chemin évite les obstacles, tenir compte des contraintes de son propre bras et adapter son plan si la disposition de la pièce ne correspond pas à ses attentes. Une action en apparence simple devient alors un problème de perception, de raisonnement et de contrôle physique.

La difficulté tient notamment au décalage entre le langage humain et les gestes d’une machine. Une personne dira volontiers « pose les blocs dans les bons récipients », sans détailler la position de départ, l’ordre des mouvements, la hauteur de prise ou les zones à éviter. Le système robotique doit traduire cette intention en une succession d’actions compatibles avec le monde réel.

PRoC3S, une passerelle entre langage et contraintes physiques

Le nom PRoC3S signifie Planning for Robots via Code for Continuous Constraint Satisfaction, soit une planification pour robots par le code et la satisfaction continue de contraintes. L’objectif est de tirer parti de la capacité des grands modèles de langage à interpréter des consignes et à organiser des actions, sans leur confier seuls le contrôle d’une machine.

Dans cette approche, le modèle de langage sert à produire un plan d’action à partir d’une mission. Ce plan est ensuite confronté à une représentation plus rigoureuse des contraintes qui pèsent sur le robot. Celles-ci peuvent concerner les positions accessibles, la nécessité d’éviter un obstacle ou la façon de placer un objet avec précision. Le terme « continu » rappelle que ces contraintes ne se limitent pas à un choix binaire : les positions, orientations et trajectoires évoluent dans l’espace physique.

Le système s’appuie également sur des modèles de vision pour analyser l’environnement immédiat. La perception visuelle fournit les éléments nécessaires pour situer les objets et identifier les obstacles. Le plan n’est donc pas conçu dans le vide : il est mis en relation avec ce que le robot est censé voir autour de lui et avec les limites de ses mouvements.

Cette répartition des rôles est essentielle. Le modèle de langage apporte une forme de raisonnement de haut niveau : il aide à passer d’une instruction générale à une stratégie. Les composants robotiques spécialisés vérifient ensuite que cette stratégie n’ignore pas les contraintes matérielles. PRoC3S cherche ainsi un compromis entre flexibilité et fiabilité.

Pourquoi tester le plan avant de bouger le robot ?

La caractéristique centrale de la méthode est la validation du plan dans un simulateur avant son exécution. Au lieu de demander au robot d’essayer directement une action dans son environnement physique, PRoC3S évalue d’abord la proposition dans un monde virtuel. Cette étape permet de détecter, en amont, un mouvement impossible ou une stratégie qui ne respecte pas les contraintes modélisées.

Le déroulement peut se résumer en quatre étapes :

1. Le robot reçoit une mission formulée à un niveau relativement général.
2. Un grand modèle de langage génère un plan d’action susceptible de répondre à cette mission.
3. Ce plan est testé dans un simulateur au regard de l’environnement perçu et des contraintes du robot.
4. Le robot exécute le plan lorsqu’il a été approuvé dans ce cadre de vérification.

Cette logique ne transforme pas une simulation en garantie absolue. Un environnement réel peut comporter des imprévus que le modèle virtuel n’a pas représentés. Mais elle vise à empêcher qu’un plan manifestement irréalisable, ou incompatible avec les limites connues du robot, soit transmis directement à la machine.

La simulation offre aussi un avantage pratique : elle autorise l’exploration de plusieurs options sans répéter des essais matériels coûteux ou risqués. Pour des robots qui manipulent des objets, une erreur peut signifier une collision, une chute ou un positionnement imprécis. Faire échouer d’abord le plan dans un environnement numérique est donc préférable à un échec sur un poste de travail réel.

Des résultats encourageants, mais circonscrits

Les chercheurs ont évalué PRoC3S sur plusieurs tâches de manipulation et de tracé. En simulation, le système a notamment réussi à dessiner des étoiles et des lettres avec un taux de réussite supérieur à 80 %. Il a aussi été confronté à l’empilement de blocs et à la disposition précise d’objets sur une surface.

Le passage au matériel est un point important. Les travaux ont aussi été testés avec un bras robotique capable de placer précisément des blocs, notamment en positionnant des blocs colorés dans les récipients appropriés. Dans ce scénario contrôlé, le système a montré qu’un plan approuvé avant l’action pouvait effectivement guider une exécution physique.

Ces résultats doivent toutefois être lus pour ce qu’ils sont. Le chiffre de plus de 80 % concerne les exercices de dessin décrits en simulation, et non une promesse générale pour toutes les tâches ménagères ou industrielles. Les démonstrations réelles portent elles aussi sur un environnement contrôlé. Elles constituent une indication utile sur la méthode, pas la preuve qu’un robot autonome est prêt à se débrouiller sans supervision dans n’importe quel domicile.

Ce que change l’association entre vision, langage et robotique

Les grands modèles de langage sont efficaces pour reformuler une demande, proposer un ordre d’actions ou mobiliser des connaissances générales. En revanche, ils ne sont pas conçus à l’origine pour calculer avec précision si une pince peut atteindre un objet sans heurter une étagère. Les systèmes robotiques classiques, eux, savent représenter des contraintes et des mouvements, mais sont généralement moins souples face à une consigne ouverte.

PRoC3S tente de réunir ces deux forces. Le langage sert à comprendre le but. La vision contribue à ancrer ce but dans l’environnement observé. La modélisation des contraintes et la simulation servent enfin de garde-fous avant le mouvement réel.

Cette architecture est particulièrement pertinente pour les consignes qui ne détaillent pas chaque geste. Plutôt que de programmer manuellement une séquence de mouvements pour chaque situation possible, l’opérateur peut exprimer un objectif. Le système doit alors produire une réponse exploitable tout en respectant les règles de sécurité liées à la machine et à son environnement.

La sécurité reste un problème à résoudre au-delà du simulateur

L’intérêt de PRoC3S est précisément de ne pas traiter la sécurité comme une simple consigne ajoutée au modèle de langage. Dire à un système « sois prudent » n’indique ni la zone atteignable par un bras, ni la distance à conserver avec un obstacle. La prudence doit devenir une série de contraintes vérifiables.

Pour autant, un simulateur ne reflète jamais parfaitement le monde réel. La physique peut être plus complexe que prévu, les objets peuvent se déplacer, les conditions de lumière peuvent perturber la perception et un humain peut intervenir dans l’espace de travail. Plus l’environnement est dynamique, plus l’écart entre le scénario simulé et la situation rencontrée peut devenir déterminant.

Cette distinction a son importance dans le débat sur l’IA dite incarnée, c’est-à-dire les systèmes qui agissent par l’intermédiaire d’un corps physique. Une réponse erronée d’un assistant textuel peut être gênante. Une trajectoire erronée d’un bras robotique peut endommager un objet ou créer une situation dangereuse. Les critères de validation doivent donc être plus stricts que pour un simple échange de texte.

Des usages possibles à domicile comme dans l’industrie

À terme, une méthode de ce type pourrait être utile partout où des robots doivent accomplir des missions variables. Dans l’industrie, elle pourrait aider à manipuler des objets dont la position change ou à organiser des opérations de tri et de rangement. Dans un cadre domestique, elle ouvre la voie à des assistants capables d’enchaîner plusieurs actions, à condition que leur perception et leur planification restent suffisamment fiables.

L’exemple de la préparation d’un repas, évoqué parmi les perspectives, donne une bonne mesure de l’ambition. Une telle tâche suppose d’identifier plusieurs objets, de respecter un ordre d’étapes, de contourner des obstacles et de réagir à des changements dans l’environnement. Elle ne pourra pas reposer sur un plan figé. Le robot devra conserver l’objectif en tête, revoir sa stratégie lorsque nécessaire et, surtout, reconnaître ce qu’il vaut mieux ne pas tenter.

Dans l’immédiat, les scénarios les plus crédibles sont ceux où l’environnement demeure partiellement structuré et où les contraintes peuvent être observées et modélisées. C’est dans ces conditions que les bénéfices de la validation préalable sont les plus faciles à mesurer.

Ce qu’il faut surveiller

Les chercheurs envisagent d’améliorer PRoC3S avec des simulations physiques plus avancées et des techniques de recherche de données plus évolutives. L’objectif est d’étendre la méthode à des missions plus complexes et à des configurations dynamiques, avec davantage d’étapes à accomplir dans un même environnement.

Le point décisif sera la capacité à conserver les performances observées lorsque les tâches gagnent en diversité. Il faudra notamment vérifier comment le système réagit quand l’objet n’est pas exactement là où il était attendu, quand l’espace de travail change ou quand plusieurs contraintes se contredisent. La qualité de la vision, de la simulation et de la représentation des limites comptera autant que la qualité du modèle de langage.

La recherche suggère aussi qu’une association entre planification et apprentissage supervisé pourrait élargir l’éventail des tâches réalisables. Mais la promesse la plus intéressante de PRoC3S est déjà claire : pour qu’un robot gagne en autonomie sans devenir imprévisible, il ne suffit pas de lui apprendre à agir. Il faut aussi lui apprendre, de façon vérifiable, à s’arrêter aux frontières de ce qu’il peut réellement faire.