HOT3D : Meta ouvre un vaste jeu de données sur les gestes et les objets en 3D

Comprendre qu’une main saisit une tasse, tourne un tournevis ou déplace un objet est une opération naturelle pour un humain. Pour une machine, c’est un problème beaucoup plus exigeant : elle doit identifier la main, reconnaître l’objet, estimer leur position dans l’espace et suivre des mouvements souvent rapides ou partiellement masqués. C’est pour fournir des données de référence sur cette scène du quotidien que Meta Reality Labs présente HOT3D, un jeu de données consacré aux interactions entre les mains et les objets.

Publié dans le cadre d’une démarche de recherche ouverte, HOT3D réunit des vidéos 3D captées du point de vue de la personne qui agit. Son intérêt tient autant à son volume qu’à la richesse des informations associées aux images. Meta veut ainsi donner aux équipes de recherche de quoi entraîner et comparer des systèmes de vision par ordinateur capables de mieux interpréter la manipulation d’objets, une compétence décisive pour la robotique, la réalité augmentée et la réalité virtuelle.

HOT3D, un jeu de données pour apprendre à voir les gestes

Le nom HOT3D renvoie à l’étude des interactions entre les mains, les objets et la perception en trois dimensions. Plutôt que de montrer une personne depuis une caméra fixe placée en face d’elle, les séquences sont égocentrées : la caméra se trouve sur l’équipement porté par le participant. Les images reproduisent donc, dans une certaine mesure, ce qu’observerait un assistant numérique embarqué dans des lunettes ou ce qu’un système de réalité mixte devrait comprendre dans le champ de vision de son utilisateur.

Cette perspective est utile, mais elle rend aussi le problème difficile. Les mains peuvent cacher une partie de l’objet. Celui-ci peut sortir du champ de vision, pivoter ou être tenu selon des angles très différents. Les reflets, les changements d’éclairage et la diversité des gestes ajoutent encore de l’incertitude. Une intelligence artificielle ne doit donc pas seulement mettre une étiquette sur une image, elle doit reconstruire une situation spatiale cohérente au fil du temps.

Les données de HOT3D associent précisément les images à des annotations de haute fidélité. Elles comprennent notamment les poses 3D des mains, des objets et des caméras, ainsi que des modèles 3D des mains et des objets. Ces repères servent de base d’apprentissage et d’évaluation : le modèle produit une estimation, puis celle-ci peut être comparée à une référence connue.

Plus de 3,7 millions d’images, 19 personnes et 33 objets

Le corpus publié par Meta est important à l’échelle de travaux exigeant des annotations 3D détaillées. Il cumule plus de 833 minutes de vidéo et plus de 3,7 millions d’images. Les enregistrements suivent 19 individus qui interagissent avec 33 objets rigides variés.

Le choix d’objets rigides permet d’établir une référence plus contrôlée pour le suivi de pose. Contrairement à un tissu, une éponge ou un aliment, dont la forme change quand ils sont manipulés, un objet rigide conserve sa géométrie. Cela ne simplifie pas tout, car la main peut toujours en dissimuler une partie, mais cela aide à isoler les difficultés de perception et de mouvement.

Au-delà des vidéos, HOT3D contient des signaux multimodaux. Meta cite en particulier le suivi du regard et des nuages de points. Le premier renseigne sur la direction dans laquelle porte l’attention de la personne. Les seconds représentent un environnement par un ensemble de points situés dans l’espace, ce qui apporte des indications de profondeur et de géométrie. Ces informations ne remplacent pas l’image, elles la complètent.

Comment Meta a collecté les séquences

Les captures reposent sur deux dispositifs développés par Meta : les lunettes de recherche Project Aria et le casque Quest 3. Les lunettes Project Aria sont conçues pour enregistrer simultanément des données visuelles et sonores, tout en suivant les mouvements oculaires de l’utilisateur. Le Quest 3 intervient également dans le dispositif de collecte présenté pour HOT3D.

L’enjeu de cette instrumentation est de relier plusieurs points de vue et plusieurs types de mesures autour d’une même action. Une caméra unique peut perdre de vue une main ou un objet au moment où ils se superposent. Des données multi-vues apportent alors des observations complémentaires. Elles permettent d’obtenir des annotations plus fidèles et d’entraîner des modèles à traiter les occlusions, c’est-à-dire les situations où un élément en cache un autre.

La qualité des annotations est particulièrement importante dans ce domaine. Un système de vision par ordinateur apprend à partir d’exemples étiquetés. Si la position de référence d’une main ou d’un objet est imprécise, le modèle risque d’apprendre une relation erronée. À l’inverse, des données alignées avec soin donnent une mesure plus fiable des progrès accomplis par les méthodes testées.

Pourquoi les données multi-vues améliorent le suivi en 3D

Meta a utilisé HOT3D pour entraîner des modèles de base sur trois tâches. Les évaluations rapportées montrent une amélioration nette des performances avec les données multi-vues. Parmi les usages mis en avant figurent le suivi 3D des mains, l’estimation de la pose d’objets en six degrés de liberté et la manipulation d’objets non identifiés déjà tenus en main.

Cette conclusion est logique du point de vue de la géométrie, sans rendre le problème trivial. Lorsqu’un objet n’est visible que sous un seul angle, un algorithme peut hésiter sur sa profondeur, son orientation ou sa taille apparente. En combinant plusieurs observations synchronisées, il dispose de davantage d’indices pour résoudre ces ambiguïtés. Pour des gestes fins, comme prendre, tourner ou repositionner un objet, cette précision est déterminante.

Les résultats fournis par Meta ne signifient pas qu’un robot entraîné avec HOT3D saura immédiatement manipuler tous les objets du monde réel. Le jeu de données porte sur 33 objets rigides et sur des scénarios de collecte définis. En recherche, un bon jeu de données sert d’abord à mesurer précisément une capacité donnée et à rendre les comparaisons entre méthodes plus rigoureuses. HOT3D peut donc faire progresser la compréhension visuelle des gestes, tout en laissant ouvertes des difficultés importantes : diversité des environnements, objets souples, outils inconnus ou interactions longues et complexes.

Quels usages pour la robotique et la réalité augmentée ?

La capacité à interpréter les mains et les objets intéresse de nombreux domaines. En robotique, elle peut aider à concevoir des systèmes plus précis lorsqu’ils doivent interagir avec leur environnement. Avant d’agir, un robot doit pouvoir localiser l’objet, estimer son orientation et comprendre comment une main humaine le manipule. Des données de démonstration peuvent nourrir cette étape de perception, indispensable à des tâches complexes impliquant des objets du quotidien.

Dans les interfaces homme-machine, la reconnaissance fine du geste peut rendre les interactions plus naturelles. Un dispositif de réalité augmentée ou de réalité virtuelle doit par exemple distinguer une main ouverte d’une main qui tient un objet, tout en tenant compte du contexte spatial. La qualité de cette compréhension peut influencer l’affichage d’informations, la stabilité d’un objet virtuel ou la cohérence d’une expérience immersive.

HOT3D pourrait aussi être utile aux travaux sur la perception égocentrée. Il s’agit de développer des systèmes qui analysent le monde depuis le point de vue d’une personne équipée de capteurs. Cette approche diffère fortement de la vidéosurveillance ou des jeux de données filmés depuis l’extérieur : l’angle de vue bouge avec la tête, les mains apparaissent souvent au premier plan et les objets sont observés à très courte distance.

Il faut néanmoins distinguer les promesses de recherche des applications finalisées. HOT3D fournit des données et des résultats de référence. Il ne constitue pas, à lui seul, une solution complète de contrôle robotique ou une garantie de fiabilité pour un casque grand public. Le passage d’un jeu de données à un produit suppose encore des modèles robustes, des tests dans des conditions variées et une intégration matérielle adaptée.

Une ressource ouverte pour comparer les méthodes

Meta rend HOT3D disponible en open source via le site de Project Aria. Cette ouverture compte dans un champ de recherche où collecter et annoter des données 3D de haute qualité est coûteux et techniquement complexe. Sans jeu commun, les laboratoires évaluent souvent leurs méthodes sur des données différentes, ce qui rend les résultats difficiles à comparer.

Avec une même base de test, les équipes peuvent entraîner leurs modèles, publier leurs scores et identifier plus facilement ce qui améliore réellement les performances. Un laboratoire peut par exemple comparer des architectures de suivi de mains, tandis qu’un autre peut se concentrer sur l’estimation de pose des objets. La ressource permet aussi de vérifier si les gains annoncés se maintiennent d’une tâche à l’autre.

L’ouverture des données ne fait pas disparaître les enjeux liés à leur utilisation. Les chercheurs doivent notamment prêter attention aux conditions d’accès, aux règles associées au jeu de données et aux limites de généralisation de leurs résultats. Mais le fait de partager un corpus multimodal de cette ampleur peut accélérer les travaux sur des problèmes qui, jusqu’ici, restaient souvent confinés à des ensembles propriétaires ou difficiles à reproduire.

Ce qu’il faut surveiller

La publication de HOT3D met en lumière une idée centrale de la vision par ordinateur moderne : pour comprendre une action humaine, il ne suffit pas de reconnaître des objets isolés. Il faut saisir leurs relations dans le temps et dans l’espace, y compris lorsque la main, l’objet et le point de vue sont tous en mouvement.

Les prochains travaux fondés sur ce corpus devront montrer jusqu’où les modèles généralisent au-delà des 19 participants et des 33 objets observés. La question est particulièrement importante pour les usages robotiques : un système performant sur des objets connus doit encore prouver qu’il reste fiable face à des formes, des contextes et des gestes nouveaux.

Il faudra également suivre l’effet concret de la disponibilité ouverte de HOT3D. Si des équipes indépendantes s’en emparent pour proposer de nouveaux modèles et des comparaisons reproductibles, ce jeu de données pourra devenir une référence pour la perception des interactions main-objet. Pour Meta, c’est aussi une manière de placer ses plateformes de recherche, Project Aria et Quest 3, au cœur d’un écosystème appelé à compter dans les futures interfaces spatiales.