CREW, le terrain de jeu open source qui étudie les équipes humain-IA

Le défi n’est plus seulement de rendre les intelligences artificielles plus capables. Il consiste aussi à comprendre comment une personne et un agent d’IA peuvent travailler ensemble, se corriger, se faire confiance et partager une tâche sans se gêner. Présentée le 21 décembre 2024 par des chercheurs de l’université Duke, la plateforme CREW propose de répondre à cette question dans un cadre inhabituel : un terrain de jeu virtuel open source.

L’idée peut sembler légère, avec des activités comme le bowling ou la chasse au trésor. Pourtant, ces jeux servent de laboratoires contrôlés. Ils permettent d’observer des comportements difficiles à isoler dans une situation professionnelle réelle : la façon de donner une instruction, de réagir à une erreur, de suivre l’action d’un partenaire artificiel ou d’ajuster une stratégie au fil d’une tâche. CREW ne cherche donc pas à remplacer les outils de travail existants. Sa vocation est d’aider la recherche à concevoir de meilleures équipes humain-IA.

CREW, un laboratoire pour étudier le travail en équipe avec une IA

CREW est une plateforme développée par des chercheurs de l’université Duke afin d’étudier les interactions entre utilisateurs humains et agents d’IA. Dans ce contexte, un agent d’IA désigne un programme capable de recevoir des informations, de prendre des décisions dans un environnement défini et d’agir en fonction d’un objectif. L’enjeu n’est pas seulement de mesurer si l’agent accomplit sa mission, mais d’évaluer la qualité de sa coopération avec une personne.

Le professeur Boyuan Chen souligne que l’objectif consiste à exploiter les forces propres aux deux partenaires. Une personne peut mobiliser son expérience, son jugement contextuel et sa capacité à reformuler un but. Un agent d’IA peut, selon sa conception, traiter rapidement certaines informations, exécuter des actions répétées et s’adapter à des retours structurés. Une équipe efficace ne résulte pas automatiquement de l’addition de ces capacités : elle dépend de l’interface, des règles de coordination et de la compréhension mutuelle.

C’est précisément ce que CREW cherche à rendre mesurable. Plutôt que d’étudier l’IA de manière isolée ou de soumettre un participant à un questionnaire après coup, la plateforme permet de regarder l’interaction pendant qu’elle se déroule. Les chercheurs peuvent ainsi s’intéresser au comportement de l’agent, aux décisions de l’humain et aux signaux produits au cours de leur coopération.

Pourquoi utiliser le bowling et la chasse au trésor ?

Les jeux intégrés à CREW ne sont pas de simples démonstrations. Ils offrent des scénarios suffisamment simples pour être compris rapidement, tout en imposant des choix, une coordination et des ajustements. Le bowling peut par exemple amener les participants à observer une action, apprécier son résultat et formuler un retour. La chasse au trésor place davantage l’accent sur l’exploration, la recherche d’indices et le partage d’un objectif.

Dans un environnement virtuel, les chercheurs peuvent aussi mieux encadrer les conditions de l’expérience. Ils peuvent comparer les interactions d’un participant avec un agent d’IA dans des situations proches, sans les multiples variations imprévisibles d’un environnement réel. Cette reproductibilité est importante pour distinguer ce qui relève de la tâche, du système d’IA ou des caractéristiques du participant.

Ce choix de scénarios ne signifie pas qu’un bon score dans un jeu suffira à prédire la qualité d’une collaboration dans une entreprise, un hôpital ou une salle de classe. Il fournit en revanche un point de départ pour examiner les mécanismes de base : échange d’informations, confiance, correction et adaptation.

Des retours gradués plutôt qu’un simple oui ou non

L’une des particularités de CREW est de permettre la collecte de retours humains détaillés en temps réel. Dans de nombreux systèmes d’évaluation, une action est classée comme correcte ou incorrecte, satisfaisante ou insatisfaisante. Ce type de signal binaire est facile à traiter, mais il efface une grande partie de la perception humaine.

Une personne peut juger qu’une action était presque appropriée, qu’elle allait dans la bonne direction mais manquait de précision, ou qu’elle était correcte sur le fond mais difficile à comprendre. Une échelle progressive permet de refléter ces nuances. Pour un agent d’IA, ces indications peuvent contribuer à mieux interpréter les attentes des personnes avec lesquelles il doit coopérer et à affiner son comportement.

Cette logique rejoint un enjeu majeur de l’apprentissage des systèmes d’IA : le retour humain ne sert pas uniquement à sanctionner un résultat final. Il peut éclairer le chemin emprunté, signaler une hésitation ou révéler qu’une réponse techniquement acceptable reste peu utile dans une interaction réelle. CREW fournit un cadre pour observer ce retour dans l’action plutôt que de le réduire à une note donnée à la fin d’un exercice.

Les signaux physiologiques peuvent enrichir l’analyse

CREW prévoit également la captation de signaux physiologiques, notamment les mouvements des yeux ou le rythme cardiaque. Ces mesures ne permettent pas, à elles seules, de lire les pensées ni de déduire avec certitude une émotion précise. Elles peuvent toutefois apporter un éclairage supplémentaire sur le déroulement d’une interaction.

Le mouvement des yeux peut renseigner sur la zone vers laquelle l’attention se porte à un moment donné. Le rythme cardiaque peut varier selon de nombreux facteurs, parmi lesquels l’effort ou l’état d’activation de la personne. Pris avec prudence et croisés avec les actions réalisées, les retours exprimés et le contexte de la tâche, ces signaux peuvent aider les chercheurs à identifier des moments de confusion, de forte attention ou de réajustement.

Cette approche soulève aussi une exigence importante : les données physiologiques sont sensibles. Leur collecte dans une étude doit reposer sur une information claire des participants, un consentement adapté et des règles précises de protection et d’usage des données. L’annonce de CREW met en avant les possibilités de mesure offertes par la plateforme, mais elle ne détaille pas, à elle seule, les protocoles applicables à chaque futur projet de recherche.

Les capacités cognitives influencent-elles la coopération avec une IA ?

La plateforme comprend des tests cognitifs destinés à évaluer certains traits susceptibles d’influencer l’efficacité de la collaboration. Des études menées avec des participants adultes ont montré que certains attributs cognitifs avaient un effet significatif sur la capacité à travailler avec des agents d’IA.

Le résultat mérite d’être interprété avec précaution. Il ne s’agit pas de classer les personnes entre celles qui seraient aptes ou non à utiliser une IA. Les traits précis concernés ne sont pas détaillés dans les éléments présentés. L’intérêt scientifique est plutôt de reconnaître qu’une même interface ou qu’un même agent ne produira pas nécessairement la même expérience pour tout le monde.

Cette observation ouvre des pistes concrètes. Des programmes de formation pourraient, à terme, aider les utilisateurs à mieux formuler leurs retours, à comprendre les limites d’un agent ou à répartir les tâches de façon plus pertinente. De même, les concepteurs d’outils pourraient chercher à créer des interfaces plus intuitives et plus adaptables, plutôt que de supposer un utilisateur unique et idéal.

L’open source, un levier pour la recherche collaborative

Le caractère open source de CREW est central. Un projet open source rend son code accessible selon les conditions de sa licence, ce qui permet à d’autres équipes de l’examiner, de l’adapter et de contribuer à son évolution. Pour la recherche sur les interactions humain-IA, cette ouverture peut faciliter la reproduction des expériences et la comparaison des méthodes entre laboratoires.

Une université ou une institution de recherche peut ainsi s’appuyer sur un socle commun plutôt que de reconstruire entièrement un environnement expérimental. Elle peut également ajuster les scénarios à ses propres questions, par exemple en faisant varier la nature de la tâche, les types de retours demandés ou les comportements de l’agent. Plusieurs institutions commencent déjà à intégrer CREW à leurs recherches.

L’ouverture ne constitue cependant pas une garantie automatique de qualité, de simplicité ou de sécurité. Une plateforme doit être documentée, maintenue et évaluée pour être réellement utile à une communauté scientifique. Le partage du code rend les vérifications et les adaptations possibles, mais il ne dispense ni de protocoles rigoureux ni d’une attention aux données recueillies auprès des participants.

Ce que CREW peut et ne peut pas démontrer

CREW apporte un outil pour étudier des phénomènes souvent difficiles à capturer : la confiance envers un agent, la clarté d’un retour humain, l’effet d’un profil cognitif ou le rôle de signaux physiologiques pendant une tâche. Son intérêt est de rassembler ces dimensions au sein d’un même environnement expérimental.

Mais une simulation, même sophistiquée, reste une simulation. Les comportements observés dans un jeu virtuel ne peuvent pas être transposés mécaniquement à tous les métiers ni à toutes les décisions importantes. Dans la réalité, les équipes composent avec des délais, des responsabilités, des connaissances très spécialisées et parfois des conséquences élevées en cas d’erreur.

La valeur de CREW réside donc moins dans la promesse d’une recette universelle que dans la possibilité de produire des données comparables sur la coopération humain-IA. C’est une étape utile pour passer d’intuitions générales, comme l’idée qu’une IA doit être « collaborative », à des observations plus précises sur les conditions qui rendent cette collaboration réellement utile.

Ce qu’il faut surveiller

Les futures mises à jour annoncées pour CREW doivent introduire des scénarios multitâches plus complexes et des théories cognitives élargies. Ce sera un test important : plus un environnement se rapproche de situations riches et changeantes, plus les résultats pourront éclairer des usages concrets, tout en devenant plus difficiles à interpréter.

Il faudra également observer la manière dont la communauté de recherche s’empare de la plateforme. Son ouverture peut favoriser des expériences menées dans différentes disciplines, de l’informatique aux sciences cognitives en passant par l’ergonomie. La question centrale restera la même : comment concevoir des agents qui ne se contentent pas d’exécuter une tâche, mais qui savent coopérer avec des personnes aux besoins, aux compétences et aux façons de travailler variés ?

À mesure que les assistants d’IA entrent dans davantage d’outils du quotidien, cette question devient décisive. Comprendre la collaboration ne revient pas seulement à améliorer la vitesse d’exécution. Cela suppose de bâtir des systèmes compréhensibles, adaptables et capables d’accepter un retour humain nuancé.