InteRecon : le MIT donne une dimension interactive aux objets personnels

Un jouet d’enfance, un baladeur devenu obsolète ou une vieille télévision ne se résument pas à leur silhouette. Leur valeur tient aussi à un détail de mouvement, à la résistance d’un bouton, à un son familier ou à une manière de les manipuler. C’est précisément cette part vivante des objets personnels que le programme InteRecon, conçu par des chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT, entend faire entrer dans les environnements de réalité mixte.

Présenté en avril 2025, ce travail propose une approche qui ne se limite pas à fabriquer une copie visuelle en trois dimensions. L’ambition est de permettre à une personne de scanner un objet du quotidien, puis de choisir les parties qui devront pouvoir bouger, réagir ou déclencher un contenu numérique. Une poupée peut ainsi remuer les bras, les oreilles d’un lapin en peluche peuvent se balancer, et la version numérique d’un appareil ancien peut retrouver certains de ses boutons, de ses sons ou de son écran.

Derrière cette démonstration, l’enjeu est double. Il s’agit d’abord de conserver autrement des objets auxquels une histoire personnelle est attachée. Il s’agit aussi de rendre des supports d’apprentissage ou de médiation culturelle plus manipulables, sans confondre pour autant ce prototype de recherche avec une reproduction physique parfaite de l’objet original.

InteRecon, qu’est-ce que c’est exactement ?

InteRecon est un programme de recherche destiné à intégrer des objets physiques personnels dans des expériences de réalité mixte. Cette expression désigne un environnement dans lequel des éléments numériques en trois dimensions sont placés et manipulés en relation avec l’espace réel de l’utilisateur. Elle se situe à la rencontre de la réalité augmentée, qui superpose des contenus numériques au monde visible, et de la réalité virtuelle, qui immerge l’utilisateur dans un environnement numérique.

L’idée de base est simple à formuler : faire d’un objet réel un jumeau numérique. Mais InteRecon ajoute un objectif plus difficile, celui de lui redonner une part de son interactivité caractéristique. Pour beaucoup d’objets, c’est cette interactivité qui porte le souvenir. Une figurine à tête oscillante, par exemple, est reconnaissable autant par sa forme que par le mouvement de sa tête. Un lecteur de musique ancien évoque une époque par son interface et par le geste qui lance la lecture.

Les chercheurs partent du constat qu’un modèle 3D statique ne restitue pas toujours cette expérience. Une copie numérique peut être très fidèle visuellement tout en laissant de côté les actions qui donnent à l’objet son identité. InteRecon cherche donc à conserver, dans un environnement numérique, une mémoire plus riche que la seule apparence.

Du scan mobile au modèle 3D interactif

Le parcours imaginé pour InteRecon commence avec un smartphone. L’utilisateur scanne l’objet à l’aide d’une application mobile en effectuant plusieurs passages autour de lui. Ces différents points de vue permettent de produire un modèle 3D, c’est-à-dire une représentation numérique de son volume et de ses détails visibles.

Le modèle est ensuite transféré dans l’interface de réalité mixte d’InteRecon. C’est à ce stade que l’utilisateur peut enrichir l’objet. Il sélectionne les zones auxquelles il veut attribuer un comportement interactif : une tête, un bras, une oreille, un bouton ou encore la partie écran d’un appareil électronique.

Le système propose alors des mouvements programmables et des démonstrations permettant de les prévisualiser. L’utilisateur n’a donc pas à concevoir lui-même une animation complexe, ni à écrire du code. Il peut, par exemple, choisir un mouvement de balancement qui correspond aux oreilles d’un lapin en peluche ou animer les membres d’une poupée.

Cette succession d’étapes révèle l’une des intentions du projet : rendre la création d’un objet numérique interactif plus accessible à des personnes qui ne sont ni modélisateurs 3D ni programmeurs. L’outil vise ainsi à abaisser la barrière technique entre un souvenir matériel et son usage dans un espace de réalité mixte.

Pourquoi l’interactivité change la valeur d’une copie numérique

Photographier ou numériser un objet permet de conserver une trace. En revanche, l’interaction ajoute une dimension temporelle : l’utilisateur ne regarde plus seulement l’objet, il le manipule ou observe sa réaction. Cette différence est centrale dans la démarche du MIT.

Un objet personnel peut accumuler des marques d’usage, des imperfections et des gestes familiers. Ces détails ne sont pas accessoires lorsqu’il s’agit de mémoire. Ils peuvent faire remonter une expérience passée avec davantage de force qu’une image générique ou qu’une réplique neuve. InteRecon vise à faire exister ces objets dans un contexte virtuel tout en préservant ce qui les rend singuliers.

Le projet ne prétend pas pour autant reproduire automatiquement toutes les propriétés physiques du monde réel. Une animation de mouvement, l’activation d’un bouton virtuel ou la diffusion d’un son constituent des manières de représenter une interaction. La fidélité d’une telle reconstitution dépendra de la qualité du scan, de la complexité de l’objet et des comportements que le système est capable de prendre en charge.

Des jouets aux appareils vintage, quels objets sont concernés ?

Les démonstrations d’InteRecon couvrent deux familles d’objets particulièrement parlantes : les jouets et les appareils électroniques anciens. Elles montrent que l’interactivité ne prend pas la même forme selon l’objet numérisé.

Pour un jouet, elle est souvent liée au mouvement. Une poupée ou une figurine peut être animée par zones : les bras peuvent bouger, une tête peut osciller, un élément souple ou décoratif peut adopter un mouvement de balancement. Ces actions ne recréent pas seulement une mécanique, elles rappellent aussi la façon dont l’objet était regardé ou manipulé.

Pour l’électronique vintage, InteRecon s’intéresse davantage à l’interface. Les chercheurs ont présenté le modèle d’une télévision ancienne avec des boutons virtuels et un écran sur lequel il est possible de regarder d’anciens clips vidéo. Dans un autre exemple, une version numérique d’un iPod peut intégrer un bouton « play » afin de lancer l’écoute de morceaux dans l’environnement de réalité mixte.

Cette possibilité d’associer un objet à des contenus, à des commandes ou à des widgets virtuels élargit la portée de la numérisation. Une télévision 3D inerte est un objet décoratif. Une télévision dont l’écran peut afficher une archive vidéo devient un support de récit. De même, un lecteur de musique numérique muni d’une commande de lecture peut réactiver une partie de l’expérience associée à l’appareil.

Quels usages pour l’éducation, la médecine et le patrimoine ?

Les chercheurs envisagent des applications qui dépassent les souvenirs individuels. Dans l’éducation, la réalité mixte peut rendre un concept abstrait plus concret en l’attachant à une manipulation visible. InteRecon pourrait ainsi servir à expliquer des notions telles que la gravité à travers des objets dont les mouvements sont observables et modifiables.

L’intérêt pédagogique tient à la possibilité de combiner plusieurs registres : voir un objet, le déplacer dans l’espace, déclencher une animation et discuter de ce qui se produit. Pour un enseignant, l’objet numérisé peut devenir un point d’entrée plus intuitif qu’un schéma isolé. Il reste toutefois à adapter les contenus au niveau des élèves et à vérifier que l’immersion apporte une compréhension réelle, plutôt qu’un simple effet de nouveauté.

Le secteur médical fait également partie des pistes évoquées. Des personnes en formation pourraient apprendre des procédures chirurgicales à partir de visualisations précises des mouvements requis. Dans cette perspective, la réalité mixte servirait de support d’observation et de répétition. Le projet ouvre une voie intéressante pour représenter des gestes, mais il ne remplace ni l’encadrement clinique, ni les outils de simulation validés pour la formation médicale.

Les musées et les institutions patrimoniales pourraient aussi y trouver un intérêt. Certains objets sont fragiles, rares ou difficiles à manipuler par le public. Leur version numérique interactive permettrait d’enrichir une exposition sans soumettre l’original à des usages répétés. Elle pourrait montrer le fonctionnement d’un artefact, faire apparaître un contenu d’archive ou replacer l’objet dans un récit.

Les limites d’un objet personnel recréé dans le numérique

L’approche reste confrontée à plusieurs défis. Scanner un objet nécessite d’en capturer suffisamment bien les formes et les détails. Les objets très complexes peuvent demander davantage de soin. Ensuite, identifier les zones utiles et choisir la bonne animation demeure une étape de personnalisation : le système repose sur les décisions de l’utilisateur et sur les interactions disponibles.

Une autre difficulté est la différence entre une animation visuelle et un comportement physique complet. Un objet réel possède du poids, une texture, des contraintes mécaniques et parfois une réponse imprévisible. Reproduire l’ensemble de ces propriétés avec précision est plus ambitieux que faire bouger une partie de son modèle 3D ou déclencher un contenu numérique.

Enfin, la dimension personnelle de ces objets appelle une certaine attention. Un souvenir numérisé peut contenir des photos, des sons, des vidéos ou des indices sur la vie de son propriétaire. Toute diffusion dans un cadre familial, scolaire ou culturel devra tenir compte de la volonté des personnes concernées et du contexte dans lequel ces contenus sont partagés.

Ce qu’il faut surveiller pour la suite

Les travaux autour d’InteRecon pourraient évoluer vers une automatisation plus poussée. Les chercheurs évoquent notamment l’intégration de modèles de langage et de modèles génératifs afin de recréer des objets perdus à partir de descriptions textuelles. Une telle évolution permettrait de passer d’un objet disponible et scannable à une reconstitution issue de souvenirs racontés.

Cette perspective est stimulante, mais elle pose aussi une question de fidélité. Plus un système complète un objet à partir d’une description, plus il doit distinguer ce qui provient d’une trace réelle de ce qui relève d’une reconstruction générée. Pour des usages patrimoniaux ou éducatifs, cette transparence sera essentielle : une restitution imaginative peut être utile, à condition de ne pas être présentée comme une copie exacte.

À court terme, InteRecon illustre surtout une direction importante de la réalité mixte : rendre les contenus numériques plus personnels et moins génériques. Au lieu de peupler un espace virtuel d’objets standardisés, il devient possible d’y faire entrer des éléments chargés d’histoire. Le véritable défi sera de rendre ce processus à la fois simple, fidèle aux souvenirs et suffisamment clair sur ce que la technologie restitue réellement.