Au MIT, des étudiants imaginent une IA qui écoute les corps, les récits et les souvenirs

L’intelligence artificielle est souvent présentée comme un outil qui écrit, résume, classe ou automatise. Les projets montrés par des étudiants liés au Massachusetts Institute of Technology, le MIT, invitent à regarder ailleurs : du côté d’un corps qui danse, d’enfants qui racontent une histoire avec leurs ombres, ou de personnes qui construisent ensemble un souvenir. Dans ces expériences, l’IA ne se réduit pas à une boîte de dialogue. Elle intervient dans une situation physique, sociale et créative.

Plusieurs de ces travaux ont été mis en avant à l’occasion de la conférence NeurIPS, en décembre 2024, dans le cadre du cours 4.043/4.044, Interaction Intelligence, dirigé par Marcelo Coelho. NeurIPS est l’un des grands rendez-vous internationaux de la recherche en intelligence artificielle et réunit des milliers de participants. Le cadre pédagogique est ici déterminant : il ne s’agit pas simplement de démontrer ce que des modèles peuvent produire, mais de questionner les formes d’interaction qu’ils rendent possibles.

Les cinq projets cités, très différents dans leur forme, ont un point commun. Ils placent l’humain dans une boucle active : il bouge, choisit, interprète, doute ou raconte. L’IA répond à ces gestes et à ces décisions, sans se substituer à eux.

De l’outil à la situation vécue

Parler de collaboration entre humain et IA ne signifie pas forcément répartir une tâche entre une personne et une machine. Dans un tableur ou dans un logiciel de rédaction, cette collaboration consiste souvent à demander une action puis à vérifier le résultat. Les projets présentés dans ce cours examinent une idée plus large : l’interface elle-même peut devenir une expérience.

Cette différence tient notamment aux modalités d’entrée et de sortie. Un clavier, un écran tactile et du texte restent centraux dans la plupart des usages de l’IA générative. Or un système peut aussi recevoir des informations issues du mouvement, d’une image, d’une ombre ou d’une manipulation d’objet. En retour, il peut proposer de la musique, une histoire, une image ou une transformation vidéo.

Be the Beat, quand la danse devient une sélection musicale

Be the Beat, conçu par Ethan Chang et Zhixing Chen, prend la forme d’un boombox intelligent. Son principe est simple à formuler, mais révélateur d’un changement d’approche : au lieu de demander à une personne de choisir manuellement une chanson, le dispositif suggère des morceaux à partir de ses mouvements de danse.

Le projet utilise PoseNet, un système de détection de pose capable d’identifier des points du corps dans une image ou une vidéo afin de décrire le mouvement. Ces informations servent ensuite à interroger des API pour trouver des titres associés au style, à l'énergie et au tempo de la danse observée. Une API est un mécanisme qui permet à des logiciels d’échanger des données ou des fonctions. Dans ce cas, elle relie l’analyse du mouvement à une recherche musicale.

L’intérêt du dispositif n’est pas uniquement de trouver une musique au bon rythme. Il inverse le rapport habituel entre la musique et le corps. Dans un usage ordinaire, la personne adapte souvent ses pas à un morceau déjà choisi. Avec Be the Beat, le mouvement devient le point de départ de la sélection. Les retours rapportés par les danseurs font état d’un sentiment de contrôle accru sur leur expression artistique ainsi que d’une découverte enrichie de genres de danse.

Cette expérience souligne une limite fréquente des interfaces conventionnelles : elles exigent souvent de traduire une intention sensible, telle qu’une énergie ou une humeur corporelle, en mots-clés, menus et boutons. Ici, le geste tient lieu d’instruction.

A Mystery for You, apprendre à douter face aux alertes d’actualité

Avec A Mystery for You, Mrinalini Singha et Haoheng Tang s’intéressent à un autre terrain d’interaction : la consommation d’information. Le jeu éducatif propose aux participants d’endosser le rôle de fact-checkers. Ils examinent des alertes d’actualité générées par l’IA et doivent se repérer dans des situations volontairement ambiguës.

Le projet s’appuie sur un modèle de langage avancé. Les modèles de langage sont entraînés à produire ou transformer du texte en fonction de grandes quantités d’exemples linguistiques. Ils peuvent ainsi générer des formulations plausibles, ce qui constitue à la fois leur intérêt et leur difficulté dans un contexte informationnel. Un texte convaincant dans sa forme n’est pas, pour autant, une information établie.

A Mystery for You mise sur l’enquête plutôt que sur une leçon abstraite. Les joueurs sont amenés à analyser ce qui leur est présenté, à repérer une ambiguïté et à exercer leur jugement. Le choix d’un dispositif analogique riche en interactions, en remplacement d’une simple interface tactile, donne une place matérielle à cette activité. Il rappelle que l’éducation aux médias ne consiste pas seulement à connaître des règles de vérification, mais à acquérir le réflexe de suspendre son jugement devant un contenu incertain.

Dans un paysage médiatique où la désinformation est omniprésente, cette approche a une portée pédagogique particulière. L’IA est à la fois l’objet de l’exercice, puisqu’elle génère les alertes, et l’élément qui rend nécessaire une lecture plus attentive de l’information.

Memorscope, fabriquer un souvenir à plusieurs plutôt qu’une simple image

Le projet Memorscope, développé par Keunwook Kim, aborde une question plus intime : comment une IA peut-elle participer à la création de souvenirs collectifs ? Inspiré du microscope, le dispositif invite les utilisateurs à explorer leurs visages. Cette observation devient le point de départ d’une production partagée, plutôt que d’un autoportrait figé.

Memorscope mobilise notamment des modèles d’IA tels qu'OpenAI et Midjourney afin de modifier les interprétations esthétiques et émotionnelles issues de l’interaction. Le mot important est ici « interprétations ». Le dispositif ne prétend pas enregistrer objectivement un moment vécu. Il propose une transformation, donc une version possible d’une expérience.

C’est ce qui distingue le projet d’un simple album photo numérique. Une photographie conserve un instant donné, alors que Memorscope imagine un espace de mémoire dynamique, susceptible d’évoluer au fil des interactions. Cette piste soulève une question essentielle pour les outils génératifs : quand une machine ajoute, transforme ou réinterprète des éléments, comment cette médiation change-t-elle notre manière de nous souvenir ensemble ?

Narratron, des histoires qui suivent les ombres des enfants

Narratron, réalisé par des étudiants de Harvard, déplace l’interaction dans l’espace du conte. Ce projecteur interactif co-crée des histoires pour enfants à partir de marionnettes d’ombre. Les utilisateurs choisissent des protagonistes par l’intermédiaire de leurs propres ombres, tandis que des modèles de langage font évoluer la trame narrative.

Le dispositif combine ainsi plusieurs dimensions : le corps, puisque les enfants utilisent leurs silhouettes ; le visuel, avec la projection et les ombres ; l’auditif, au service de la narration ; et le langage, avec l’évolution de l’histoire. Cette superposition importe autant que le texte généré. Elle évite de réduire le récit à une succession de réponses affichées sur un écran.

L’expérience cherche à susciter la créativité des enfants, non à leur fournir une histoire définitive. L’enfant agit sur les protagonistes et la situation, l’IA prolonge la narration, puis les choix suivants peuvent à nouveau infléchir le déroulement. Le récit devient une construction partagée, où le système génératif sert de moteur d’improvisation.

Pour la conception d’outils destinés aux plus jeunes, cette orientation est notable. Une interaction enrichissante ne tient pas seulement à la pertinence d’une réponse : elle dépend de la possibilité de jouer, de choisir et de comprendre que l’histoire résulte aussi de ses propres gestes.

Perfect Syntax, l’IA comme outil pour interroger le temps du mouvement

Le projet Perfect Syntax, de Karyn Nakamura, se situe à la frontière de la recherche artistique et de la réflexion philosophique. Il examine les logiques syntaxiques du mouvement dans la vidéo, en manipulant des fragments vidéo à l’aide de l’IA.

En langage, la syntaxe désigne l’organisation des éléments d’une phrase. Transposée au mouvement, l’idée consiste à s’intéresser à la manière dont des gestes, des séquences et des transformations s’enchaînent. En agissant sur des fragments vidéo, Perfect Syntax questionne la fluidité du temps et les variations de mouvement que les systèmes automatisés peuvent produire ou faire percevoir.

Le projet ne traite donc pas l’IA comme une technologie invisible chargée d’optimiser un résultat. Il la met au contraire au premier plan comme instrument d’exploration. Qu’arrive-t-il à notre perception lorsqu’un mouvement est découpé, recomposé ou interprété par une machine ? Comment des outils de traitement vidéo influencent-ils nos représentations du temps ?

Ces questions sont importantes au-delà de l’art. Les technologies capables de générer ou de modifier des images animées transforment déjà les manières de regarder, de créer et d’interpréter les contenus visuels. Perfect Syntax propose d’examiner cette transformation par l’expérience, plutôt que de la considérer comme un simple progrès technique.

Pourquoi ces projets comptent pour l’éducation à l’IA

Les cinq propositions n’ont ni le même public ni la même fonction. Be the Beat se rapporte à l’expression dansée, A Mystery for You à l’esprit critique, Memorscope au souvenir collectif, Narratron au récit, et Perfect Syntax à la perception du mouvement. Pourtant, elles dessinent un principe commun : une éducation à l’IA gagne à mêler technique, design, culture et réflexion sur les usages.

Les étudiants qui développent de tels systèmes travaillent nécessairement sur plusieurs registres. Ils doivent penser l’interaction, le logiciel et les modèles mobilisés, mais aussi déterminer ce que l’utilisateur comprend de l’expérience. Une interface peut être techniquement sophistiquée et rester peu intéressante si elle laisse peu de place à l’initiative humaine. À l’inverse, un dispositif conçu autour d’un geste ou d’une enquête peut rendre très concrètes des notions parfois abstraites, comme l’incertitude d’un contenu généré ou la nature interprétative d’une image.

Il faut aussi distinguer ces expérimentations des promesses commerciales parfois associées à l’IA. Leur valeur tient ici à leur capacité à poser des questions par le design : quel geste voulons-nous confier à un système ? Quelle décision doit rester visible et compréhensible ? Quel type de relation souhaitons-nous établir avec une machine qui génère du texte, des images, de la musique ou des mouvements ?

Ce qu’il faut surveiller

Ces projets suggèrent que la prochaine étape des interfaces d’IA ne se jouera pas seulement dans la taille des modèles ou la qualité des réponses textuelles. Elle pourrait aussi dépendre de la manière dont les systèmes s’insèrent dans des pratiques existantes : danser, apprendre, raconter, se souvenir et regarder.

La question du contrôle restera centrale. Be the Beat donne au mouvement un rôle de commande, A Mystery for You entraîne les joueurs à évaluer une information incertaine, et Narratron conserve les choix des enfants au cœur de l’histoire. Cette place laissée à l’utilisateur est un critère utile pour évaluer les futures expériences d’IA : le système enrichit-il réellement l’action humaine, ou la remplace-t-il sans la rendre plus intelligible ?

Enfin, les usages créatifs et éducatifs rappellent qu’une IA n’est jamais neutre par sa seule présence. Les données utilisées, les images ou textes produits, les consignes données aux utilisateurs et la compréhension qu’ils ont des résultats comptent autant que la prouesse technique. C’est précisément l’intérêt de ces travaux étudiants : faire de l’interaction avec l’IA un sujet de création, mais aussi de discussion et de discernement.