TeamCraft, le banc d’essai Minecraft qui met les IA collaboratives à l’épreuve

Faire coopérer plusieurs intelligences artificielles dans un environnement imprévisible reste bien plus difficile que réussir une consigne isolée. Une équipe doit répartir le travail, comprendre ce que voient les autres membres, utiliser les ressources disponibles et ajuster son plan lorsque la situation change. C’est précisément ce problème que TeamCraft, un banc d’essai conçu par des chercheurs de l’Université de Californie à Los Angeles, ou UCLA, entend rendre mesurable à partir d’un univers familier : Minecraft.

En janvier 2025, l’intérêt de ce projet tient moins au jeu vidéo lui-même qu’à ce qu’il offre à la recherche. Ses mondes ouverts, ses paysages générés procéduralement et ses nombreuses mécaniques de collecte, de fabrication et de transformation créent un cadre riche pour étudier des agents incarnés. Autrement dit, des logiciels qui perçoivent un environnement, y agissent et doivent atteindre un objectif concret, seuls ou en équipe.

Pourquoi évaluer des IA qui travaillent en équipe ?

Une IA peut être performante lorsqu’elle doit répondre à une question ou accomplir une action bien délimitée. Le défi change de nature lorsqu’il faut coordonner plusieurs agents. Chacun possède alors une information partielle sur la situation, peut avoir un rôle spécifique et doit tenir compte des actions des autres. Sans organisation, deux agents risquent de poursuivre le même objet, de gaspiller des ressources ou de bloquer leur progression mutuelle.

Cette difficulté concerne autant les systèmes logiciels que les robots. Dans un entrepôt, une équipe de machines devrait répartir les déplacements et éviter les collisions. Dans un jeu, des personnages contrôlés par une IA devraient comprendre la stratégie d’un joueur et se rendre utiles. Dans ces cas, la qualité individuelle de chaque agent ne suffit pas : la performance vient aussi de leur capacité à former une équipe.

Les chercheurs ont donc besoin de référentiels, aussi appelés bancs d’essai ou benchmarks, qui permettent de comparer des méthodes dans des conditions reproductibles. Qian Long, doctorant à l’UCLA cité par le projet, souligne le manque de référentiels multimodaux centrés sur plusieurs agents dans des environnements ouverts. TeamCraft cherche à combler cette lacune en proposant des situations où la collaboration n’est pas accessoire, mais nécessaire à l’accomplissement de la mission.

Pourquoi Minecraft constitue un terrain d’essai pertinent

Minecraft présente une propriété précieuse pour ce type de recherche : il combine un monde visuel riche avec des règles relativement compréhensibles. Pour atteindre un objectif, il faut explorer, repérer des matériaux, se déplacer, manipuler des outils et parfois transformer des ressources. Le jeu dispose aussi de biomes variés, c’est-à-dire de zones aux caractéristiques différentes, ce qui renouvelle les conditions d’une même mission.

Ce cadre évite de réduire l’agent à une suite de variables parfaitement lisibles. Dans certains environnements de recherche, un système reçoit une description structurée et complète de l’état du monde : la position exacte des objets, la liste des ressources, voire les actions possibles. Cette représentation simplifie le problème, mais elle s’éloigne de la façon dont un humain ou un robot observe réellement son environnement.

Avec TeamCraft, les agents reçoivent au contraire une vision RGB à la première personne, accompagnée d’informations contextuelles. Ils doivent donc regarder autour d’eux, chercher ce dont ils ont besoin et agir en fonction de leur perception. L’acronyme RGB désigne les trois composantes rouge, verte et bleue d’une image numérique : en pratique, il s’agit d’images comparables à ce qu’observerait un joueur à travers son écran.

Minecraft offre ainsi un compromis utile. Il est assez complexe pour exiger de la planification et de l’adaptation, tout en restant un environnement contrôlable, où les scénarios peuvent être répétés. Ses mondes procéduraux permettent en outre de varier les configurations sans devoir concevoir chaque terrain à la main.

Quelles tâches TeamCraft demande-t-il aux agents ?

Le banc d’essai regroupe les missions autour de quatre grandes familles de tâches : construire, nettoyer, cultiver et fondre. Ces verbes paraissent simples, mais chacun peut nécessiter plusieurs étapes : identifier l’objectif, trouver les éléments utiles, choisir les outils disponibles, se coordonner et vérifier que le résultat attendu est atteint.

L’intérêt n’est pas seulement d’obtenir le bon résultat final. Une équipe doit réussir à accomplir la tâche sans que chaque agent dispose nécessairement des mêmes compétences ni des mêmes responsabilités. TeamCraft peut ainsi évaluer des groupes homogènes, où les agents ont des capacités semblables, mais aussi des équipes aux rôles distincts.

Dans une équipe spécialisée, un agent peut être mieux placé pour explorer, un autre pour rassembler des matériaux et un troisième pour réaliser une opération particulière. Cette division du travail introduit une question centrale : comment décider qui fait quoi, et comment réagir si le plan initial ne fonctionne plus ? Les tâches de TeamCraft sont conçues pour observer la planification, la coordination et l’exécution dans un contexte dynamique.

Des consignes multimodales et une perception plus proche du terrain

TeamCraft se distingue notamment par la place donnée à la multimodalité. Une information multimodale associe plusieurs formes de données, par exemple du langage et des éléments visuels. Ici, le système prend en charge des invites multimodales pour spécifier les tâches, au lieu de reposer uniquement sur des instructions textuelles.

Cette approche importe parce que les objectifs du monde réel sont rarement exprimés sous la forme d’un ordre parfaitement détaillé. Un humain peut désigner un objet, montrer un exemple ou faire référence à ce qui est visible autour de lui. Une IA appelée à collaborer avec d’autres agents, ou à terme avec une personne, doit pouvoir relier ces indications aux éléments présents dans son environnement.

Le projet a aussi servi à évaluer des modèles de vision-langage existants. Ces modèles associent l’analyse d’images à la compréhension du langage naturel. Ils peuvent, en théorie, interpréter une consigne et en relier les termes aux éléments observés dans une scène. Mais cette association ne garantit pas qu’ils sauront élaborer un plan sur plusieurs étapes, partager efficacement une tâche ou s’adapter aux décisions d’autres agents. C’est l’une des limites que TeamCraft permet d’examiner.

Ce que TeamCraft change par rapport aux référentiels précédents

Le projet se situe dans la continuité de travaux tels qu’ALFRED et MineDojo, deux cadres de recherche mentionnés par ses concepteurs. TeamCraft entend toutefois élargir l’évaluation sur trois axes : les consignes multimodales, la vision RGB à la première personne et la collaboration entre plusieurs agents dans un monde ouvert.

Cette dernière dimension est déterminante. Un système conçu pour un seul agent peut être très performant sur une série d’actions, tout en échouant dès qu’il doit synchroniser ses décisions avec celles de partenaires autonomes. La coordination peut être organisée de manière centralisée, lorsqu’un mécanisme pilote l’ensemble du groupe, ou de manière décentralisée, lorsque les agents doivent s’ajuster entre eux. TeamCraft offre un cadre pour étudier ces problématiques dans des missions communes.

55 000 variantes pour éviter les solutions trop mécaniques

TeamCraft recense 55 000 variantes de tâches. Cette diversité découle de plusieurs paramètres, parmi lesquels les biomes, les blocs de base, les matériaux ciblés, les objectifs à atteindre et les rôles attribués aux agents. Le même type de mission peut donc changer fortement selon le lieu, les ressources accessibles ou l’organisation de l’équipe.

Cette variété est essentielle pour éviter qu’un système n’apprenne une recette rigide. Si une IA rencontre toujours la même carte, les mêmes objets et le même objectif, elle peut mémoriser une séquence d’actions sans vraiment comprendre le problème. À l’inverse, changer les conditions force les modèles à reconnaître ce qui demeure important et à adapter leur stratégie.

Le recours à un environnement ouvert impose aussi une exploration active. Les agents ne reçoivent pas une connaissance parfaite du terrain dès le départ : ils doivent percevoir, se déplacer et tirer parti des informations disponibles au fil de l’action. Cette contrainte rapproche davantage l’évaluation des difficultés rencontrées par un système qui agit dans un environnement réel, où l’information est incomplète et où les décisions doivent être prises en cours de route.

Il faut toutefois distinguer une compétence démontrée dans Minecraft d’une autonomie générale. Réussir une tâche dans cet univers ne prouve pas qu’un agent saurait immédiatement fonctionner dans une maison, une usine ou une ville. La valeur scientifique du banc d’essai réside dans sa capacité à isoler et mesurer des aptitudes précises, puis à comparer les progrès réalisés d’un système à l’autre.

Un code ouvert pour accélérer les comparaisons

Les concepteurs de TeamCraft ont publié le code du projet en open source sur GitHub. Cette mise à disposition permet à d’autres équipes de reproduire les expériences, d’entraîner leurs propres modèles et de confronter leurs approches dans un même cadre. C’est un point important pour la recherche : un résultat est plus utile lorsqu’il peut être vérifié et comparé avec des méthodes concurrentes.

Le projet ouvre aussi des pistes pour le jeu vidéo. Des personnages contrôlés par une IA pourraient, à terme, devenir des coéquipiers plus crédibles, capables de tenir compte d’un objectif partagé et d’agir avec d’autres personnages ou avec un joueur humain. L’enjeu ne se limite pas à rendre ces personnages plus réactifs : il s’agit de les doter d’une forme de coopération explicite, fondée sur la perception, la prise de décision et la communication.

Les chercheurs évoquent notamment l’intérêt d’augmenter la quantité de données d’entraînement de haute qualité afin d’aider les modèles à apprendre des schémas plus riches et à s’adapter à des scénarios variés. La possibilité pour les agents d’interagir explicitement par le langage naturel constitue également une direction prometteuse. Une équipe qui peut formuler un plan, signaler une difficulté ou demander une ressource dispose en principe de moyens plus solides pour coordonner son action.

Ce qu’il faut surveiller

TeamCraft ne répond pas à lui seul au problème de la coopération entre intelligences artificielles. Il fournit en revanche un instrument pour poser les bonnes questions : un agent comprend-il vraiment son environnement visuel ? Sait-il partager une mission ? Peut-il tenir un rôle spécialisé sans perdre de vue l’objectif collectif ? Et comment ses décisions changent-elles lorsque les conditions du monde évoluent ?

Les prochaines avancées dépendront autant de la qualité des modèles que de la pertinence des évaluations. Des tests variés, reproductibles et suffisamment complexes sont nécessaires pour distinguer une compétence robuste d’une simple mémorisation de scénarios. Avec ses 55 000 variantes, ses consignes multimodales et son accent sur le travail collectif, TeamCraft propose un terrain d’expérimentation concret pour cette étape.

Pour les joueurs comme pour les chercheurs, l’idée est la même : l’IA la plus utile n’est pas seulement celle qui accomplit une action spectaculaire en solitaire. C’est celle qui sait observer, expliquer ses choix, répartir les efforts et contribuer efficacement à une réussite commune.