Hamba : l’IA qui reconstruit une main en 3D à partir d’une seule image

Nos mains accomplissent des gestes que nous jugeons évidents, saisir une tasse, tourner une clé, pointer une direction ou former un signe. Pour une machine, ces mêmes actions constituent un problème de vision particulièrement ardu. Elle doit repérer une structure articulée, estimer sa profondeur à partir d’une image plane et continuer à la suivre malgré les doigts croisés, les objets manipulés ou les parties cachées. C’est sur ce terrain que se place Hamba, un modèle présenté par des chercheurs de l’Institut de robotique de l’Université Carnegie Mellon.

Présenté lors de la 38e conférence NeurIPS, en 2024 à Vancouver, Hamba s’attaque à un objectif précis : reconstruire en trois dimensions la forme et la pose d’une main depuis une image unique, y compris lorsque les caractéristiques de l’appareil photo ne sont pas connues à l’avance. Sur la référence FreiHAND, le système affiche une erreur moyenne de positionnement par sommet de 5,3 millimètres. Ce résultat lui a valu la première place de deux classements de compétition consacrés à la reconstruction 3D des mains au moment de l’acceptation de ses travaux.

Pourquoi les mains sont-elles si difficiles à voir pour une IA ?

La vision par ordinateur consiste à permettre à un logiciel de tirer des informations exploitables d’images ou de vidéos. Détecter qu’une main est présente dans une photo est déjà une tâche distincte de la comprendre. Pour interagir avec le monde, un système doit idéalement savoir où se trouvent la paume, les articulations et les doigts, dans quelle direction ils se plient et quelle est la géométrie complète de l’ensemble.

Or, une image classique ne fournit que deux dimensions. La profondeur doit être déduite. Une main de face peut ainsi produire une silhouette proche de celle d’une main légèrement tournée, alors que sa position réelle dans l’espace est très différente. Les difficultés s’accumulent :

• les doigts possèdent de nombreuses articulations et peuvent adopter une grande variété de poses ;
• certaines parties se masquent entre elles, phénomène appelé occlusion ;
• une main peut tenir un objet qui en cache une portion importante ;
• les angles de prise de vue, la lumière et la résolution modifient l’apparence observée ;
• la distance entre la caméra et la personne influe sur l’échelle apparente de la main.

Reconstruire une main ne revient donc pas à dessiner un contour. Il s’agit de produire un modèle 3D cohérent, formé de nombreux points de surface, ou sommets, reliés entre eux pour constituer un maillage. Ce maillage doit respecter à la fois ce que montre l’image et les contraintes physiques plausibles d’une main humaine.

Hamba, une reconstruction 3D depuis une seule vue

L’une des particularités mises en avant par les chercheurs est la capacité de Hamba à travailler sans information préalable sur les spécifications de la caméra. Ces informations, souvent appelées paramètres intrinsèques, comprennent notamment des éléments liés à la focale et à la projection de la scène sur le capteur. Lorsqu’elles sont connues, elles facilitent l’interprétation des dimensions et de la profondeur. Lorsqu’elles ne le sont pas, le système doit composer avec davantage d’incertitude.

Cette propriété est importante en pratique. Les images destinées à être analysées ne proviennent pas toujours d’un environnement de capture soigneusement calibré. Elles peuvent être issues d’appareils différents et prises à des distances ou selon des angles variés. Pouvoir reconstruire une main sans dépendre de réglages connus rend l’approche plus adaptée à des images ordinaires, du moins dans le cadre évalué par les chercheurs.

Le nom Hamba renvoie à l’architecture qui se trouve au cœur de la méthode. Là où beaucoup de systèmes modernes de vision emploient des architectures dites transformers, le modèle choisit une voie différente, fondée sur Mamba et sur une modélisation d’espace d’état. Cette démarche constitue, selon les travaux présentés, la première application de cette approche à la reconstruction de formes 3D articulées.

Que change l’usage de Mamba et des graphes ?

Un modèle d’IA ne lit pas une image comme le ferait une personne. Il la transforme en représentations numériques, puis cherche des relations entre les différentes zones de l’image. Dans le cas d’une main, ces relations sont cruciales : le bout d’un doigt n’est pas une zone isolée, il est lié à des phalanges, elles-mêmes reliées à la paume selon une organisation précise.

Les architectures de type transformer sont largement utilisées pour modéliser des relations entre de nombreux éléments. Hamba se distingue en utilisant Mamba, une famille de modèles reposant sur des espaces d’état. Les chercheurs complètent le mécanisme de numérisation initial de Mamba par un scan bidirectionnel guidé par graphes. L’idée est de mieux exploiter la structure de la main plutôt que de traiter ses éléments comme une simple succession de zones visuelles.

Les Graph Neural Networks, ou réseaux de neurones sur graphes, sont particulièrement pertinents lorsqu’il faut représenter des relations. Un graphe relie des nœuds entre eux : dans ce cas, il peut rendre compte des liens spatiaux et articulaires qui organisent la main. La circulation de l’information dans les deux directions doit permettre au modèle d’intégrer cette structure lors de la reconstruction.

Comment interpréter le résultat de 5,3 millimètres ?

Pour comparer les systèmes de reconstruction 3D, les chercheurs utilisent des jeux de données de référence, aussi appelés benchmarks. FreiHAND est l’un de ces cadres d’évaluation pour les mains. Le modèle y est confronté à des exemples dont la référence 3D permet de mesurer l’écart entre sa prédiction et la géométrie attendue.

Hamba atteint une erreur moyenne de positionnement par sommet de 5,3 millimètres. Concrètement, le modèle 3D d’une main comporte un ensemble de sommets répartis sur sa surface. La métrique calcule l’écart de position moyen entre les sommets prédits et ceux de la référence. Plus cette valeur est faible, plus la reconstruction se rapproche du modèle attendu dans les conditions du test.

Ce chiffre ne veut pas dire que chaque geste sera reconnu avec une précision identique dans toutes les situations réelles. Un benchmark mesure une performance dans un protocole donné, avec ses données et ses règles. Il reste néanmoins un indicateur utile pour comparer des méthodes qui accomplissent la même tâche. La première place obtenue sur deux classements au moment de l’acceptation souligne que Hamba se situait alors parmi les approches les plus performantes de ces évaluations.

Quelles applications pour la robotique et les interfaces gestuelles ?

Comprendre une main en trois dimensions peut apporter une information plus riche que la simple détection d’un geste. Dans une interface de réalité augmentée ou virtuelle, une représentation précise peut contribuer à faire coïncider une main numérique avec les mouvements de l’utilisateur. Dans l’animation, elle peut aider à produire des poses crédibles à partir d’images. Dans un environnement robotique, elle peut fournir des indications sur la manière dont une personne approche, tient ou déplace un objet.

L’intérêt est particulièrement fort lorsque la main est le principal outil de commande. Les boutons, claviers et écrans tactiles ne disparaissent pas pour autant, mais des interactions gestuelles fiables peuvent compléter ces dispositifs lorsque l’utilisateur a les mains occupées ou évolue dans un environnement immersif.

Il faut toutefois distinguer plusieurs niveaux de capacité. Reconstruire une main, reconnaître un geste et déduire une intention sont trois tâches liées, mais non équivalentes. Une pose de main peut avoir plusieurs significations selon le contexte culturel, l’activité en cours ou la personne qui l’effectue. De même, une géométrie précise ne suffit pas à établir de façon certaine un état émotionnel.

L’article scientifique évoque néanmoins les perspectives ouvertes pour l’interaction humain-machine. Mieux percevoir les gestes peut aider les systèmes à répondre de manière plus adaptée aux actions visibles de leurs utilisateurs. C’est un enjeu pour la robotique, mais aussi pour toute technologie qui cherche à interpréter des mouvements humains dans un espace physique ou numérique.

Des limites techniques et des questions de données

La précision affichée par un modèle n’efface pas les obstacles inhérents au problème. Les scènes les plus compliquées restent celles où les mains sont très partiellement cachées, où elles interagissent avec des objets, ou lorsque l’image manque de netteté. La diversité des morphologies, des postures et des conditions de capture est également déterminante : un système doit être évalué sur des situations suffisamment variées pour que ses résultats soient interprétables au-delà d’un laboratoire.

Il existe aussi un enjeu de confidentialité. Les mains peuvent être filmées dans des contextes sensibles, au travail, dans un domicile ou dans un dispositif immersif. Une technologie d’analyse gestuelle doit donc être déployée avec des règles claires sur la collecte des images, l’information des personnes et la finalité du traitement. Une reconstruction technique utile à une application ne justifie pas, à elle seule, une captation permanente des mouvements.

Enfin, l’efficacité d’un système de recherche ne garantit pas automatiquement son intégration dans un produit. Pour passer de l’évaluation scientifique à un usage courant, il faut aussi tenir compte de la vitesse de traitement, de la consommation de ressources, de la robustesse face aux conditions réelles et de l’ergonomie de l’interface.

Ce qu’il faut surveiller

L’équipe à l’origine de Hamba prévoit d’explorer les limites du modèle et d’envisager la reconstruction 3D du corps humain complet depuis une image unique. Le changement d’échelle est considérable : un corps entier introduit davantage d’articulations, d’occlusions, de variations de vêtements et d’ambiguïtés de profondeur.

Les prochaines étapes devront surtout montrer si les bénéfices constatés sur les références de recherche se maintiennent face à des images plus diverses et à des interactions concrètes. Pour les domaines de la santé, de l’animation, de la réalité augmentée ou de la robotique, la promesse est claire : donner aux machines une perception plus fine des gestes. La question décisive sera de savoir à quel point cette perception restera fiable, rapide et respectueuse des personnes lorsqu’elle quittera les jeux de données contrôlés.