Caméras et IA : pourquoi détecter un corps humain en 3D reste si complexe

Une caméra peut repérer une silhouette, un bras levé ou une personne qui marche. Mais transformer plusieurs images planes en une représentation fiable du corps dans l’espace est une tout autre affaire. À mesure que les dispositifs de captation se multiplient dans les studios, les sites industriels, les espaces sportifs ou certains lieux équipés de vidéosurveillance, la vision par ordinateur doit répondre à une question exigeante : où se trouvent réellement les articulations d’une personne, selon les trois dimensions de l’espace ?

Cette discipline s’appelle l’estimation de pose humaine en 3D. Son objectif n’est pas d’identifier une personne, mais de reconstituer la position d’un ensemble de points anatomiques, par exemple les épaules, les coudes, les poignets, les hanches, les genoux ou les chevilles. Les modèles de deep learning ont beaucoup progressé pour localiser ces repères dans une image en deux dimensions. Le passage à la 3D, surtout avec plusieurs caméras, révèle toutefois des difficultés de calcul, de géométrie et de généralisation que l’augmentation du nombre de caméras ne fait pas disparaître par magie.

De la pose 2D au squelette dans l’espace

Les premiers grands succès de l’estimation de pose par deep learning ont consisté à localiser des points clés 2D dans une image. OpenPose a largement contribué à populariser cette approche : le système détecte les articulations et les relie afin de former une sorte de squelette numérique. D’autres outils, comme MediaPipe de Google ou YOLOpose, se sont ensuite imposés dans des usages nécessitant efficacité et rapidité.

Dans ce cadre, chaque articulation est décrite par deux coordonnées, souvent notées x et y. Elles indiquent sa position sur le plan de l’image. Or une image ne donne pas directement la profondeur. Une main tendue vers l’objectif peut paraître grande, alors qu’elle est simplement plus proche de la caméra. À l’inverse, deux poses différentes dans l’espace peuvent produire une projection très semblable sur une image 2D.

En 3D, il faut donc retrouver une troisième coordonnée, z, correspondant à la profondeur, et placer les articulations dans un référentiel commun. Ce changement paraît simple sur le papier, mais il transforme le problème. L’algorithme doit distinguer ce qui provient du mouvement réel de la personne, de son orientation, de la perspective, de l’objectif utilisé et de la position de chaque caméra.

Pourquoi plusieurs caméras ne suffisent-elles pas ?

Filmer une même scène sous plusieurs angles apporte des indices précieux. Une jambe masquée par le torse dans une vue peut être visible dans une autre. Une articulation difficile à situer selon la profondeur dans une image peut être mieux localisée en croisant les observations de plusieurs appareils. En théorie, les caméras supplémentaires réduisent donc les ambiguïtés.

En pratique, elles introduisent aussi de nouvelles contraintes. Il faut savoir précisément où se trouve chaque caméra, dans quelle direction elle est orientée et comment son objectif projette le monde réel sur ses pixels. Ces informations sont regroupées sous l’expression de paramètres de caméra. Elles permettent de relier les images à un même espace géométrique.

Le traitement devient également plus coûteux. Chaque caméra produit une image à analyser, et le système doit déterminer quelles observations correspondent à la même articulation de la même personne. Dans une scène où plusieurs individus se croisent, sont partiellement cachés ou bougent rapidement, cette association devient particulièrement délicate.

Le problème des pipelines en plusieurs étapes

La plupart des approches multivues traditionnelles suivent cette chaîne : elles détectent les points clés en 2D dans chaque image, associent les articulations correspondantes entre les vues, puis utilisent la triangulation pour reconstruire la position 3D. La triangulation consiste, de façon simplifiée, à croiser les rayons partant de plusieurs caméras vers une même articulation observée.

Cette méthode a une logique intuitive et bénéficie d’une géométrie bien établie. Sa faiblesse tient à sa fragmentation. Si le détecteur 2D place mal un poignet dans une première image, puis que le système l’associe à tort à une autre observation, la triangulation ne peut pas réparer facilement ces deux erreurs. Au contraire, elle les propage dans la reconstruction finale.

Le découpage du problème peut aussi conduire le modèle à ignorer une partie des informations visuelles disponibles. Une image ne se résume pas à quelques coordonnées d’articulations : les contours du vêtement, les zones d’occultation, les textures, l’orientation du corps et le contexte autour de la personne peuvent aider à lever une ambiguïté. Les méthodes qui ne transmettent qu’une liste de points d’une étape à l’autre perdent une partie de ces indices.

C’est pourquoi les chercheurs s’intéressent à l’apprentissage de bout en bout. L’ambition est de permettre au système d’exploiter l’ensemble des images et d’optimiser la reconstruction 3D dans une seule architecture, au lieu d’additionner des composants entraînés séparément. Cette approche soulève cependant deux questions : comment absorber le volume de données de toutes les vues, et comment intégrer les règles de la géométrie sans enfermer le modèle dans une configuration trop spécifique ?

MV-SSM cherche à associer image et géométrie

Le modèle MV-SSM s’inscrit dans cette tentative de rapprochement entre apprentissage visuel et raisonnement géométrique. Son architecture repose sur ResNet-50 pour extraire des caractéristiques visuelles à plusieurs échelles à partir des images. Autrement dit, le réseau cherche simultanément des informations fines, utiles pour repérer une articulation, et des structures plus larges, utiles pour comprendre la posture générale.

MV-SSM utilise ensuite des blocs appelés Projective State Space, ou PSS, afin d’affiner les points clés. L’élément central est son mécanisme d’attention projective. Celui-ci vise à mieux fusionner les informations issues des vues croisées en tenant compte de la manière dont un point de l’espace se projette dans les différentes images.

La reconstruction finale s’appuie toujours sur une triangulation géométrique, mais celle-ci n’est plus isolée à la fin d’une longue succession d’étapes indépendantes. Le guidage géométrique est injecté dans l’apprentissage. L’objectif est que le réseau apprenne à mieux utiliser les pixels de toutes les vues tout en respectant les contraintes physiques qui relient les caméras et la scène.

Quels progrès les résultats annoncés montrent-ils ?

Les expériences attribuées à MV-SSM mettent en avant une meilleure capacité de généralisation que les méthodes de référence comparées. Le travail rapporte une amélioration de 24 % dans des scénarios complexes à trois caméras, de 13 % dans des configurations de caméras variées, et de 38 % lors d’évaluations croisées entre jeux de données.

Ces chiffres sont importants parce qu’ils ne portent pas seulement sur une situation unique, parfaitement contrôlée. L’un des obstacles les plus persistants en vision par ordinateur est le surajustement : un modèle peut donner de très bons résultats sur les images et les réglages rencontrés pendant son entraînement, puis perdre en précision dès que l’environnement change.

Changer l’écartement entre les caméras, leur hauteur, leur angle de vue, le nombre d’appareils ou le décor peut modifier fortement les images reçues par le réseau. Un système robuste doit conserver une reconstruction utile lorsque ces variables évoluent. Des travaux antérieurs, notamment Learnable Triangulation, MvP et MVGFormer, ont déjà exploré cette combinaison entre mécanismes apprenables, triangulation et attention géométrique. MVGFormer a notamment mis en lumière les risques de surajustement de modèles précédents.

La calibration reste le verrou principal

La limite majeure de MV-SSM est explicite : le modèle suppose que les paramètres des caméras sont connus. Cette hypothèse est courante en recherche et réaliste dans un studio de capture de mouvement, un laboratoire ou une installation industrielle soigneusement configurée. Elle est bien plus difficile à satisfaire lorsque des caméras ont été installées à des moments différents, déplacées, remplacées ou réglées sans procédure de calibration rigoureuse.

Deux catégories de paramètres comptent particulièrement. Les paramètres intrinsèques décrivent les propriétés de l’appareil, comme la focale et certains effets liés à l’objectif. Les paramètres extrinsèques indiquent sa position et son orientation dans la scène. Une petite erreur sur ces données peut déplacer les rayons utilisés lors de la triangulation et, au final, produire un squelette 3D imprécis.

La difficulté ne consiste donc pas seulement à avoir davantage d’images. Il faut que les images soient géométriquement comparables. Une multiplication non maîtrisée des caméras peut augmenter les données à traiter sans améliorer proportionnellement la qualité de la reconstruction.

Des usages utiles, mais des exigences fortes

Une estimation fiable de la pose 3D peut être utile dans de nombreux contextes. En capture de mouvement, elle peut faciliter l’animation d’un personnage numérique ou l’analyse d’un geste sportif. Dans l’industrie et la robotique, elle peut aider une machine à comprendre la posture d’un opérateur pour adapter son comportement. Elle intéresse aussi les systèmes d’interaction homme-machine, qui doivent interpréter un geste plutôt que de simples pixels.

Les applications de sécurité et de surveillance sont souvent citées, mais elles exigent une vigilance particulière. Reconstituer les gestes et déplacements d’une personne à partir de plusieurs vues produit des informations plus détaillées qu’une simple vidéo. La performance technique ne dispense ni d’évaluer la nécessité du dispositif, ni de protéger les données captées, ni de respecter les règles applicables à la vie privée.

Par ailleurs, une pose estimée n’est pas une vérité absolue. Les vêtements amples, les personnes assises, les mouvements rapides, les fortes occultations et les environnements encombrés restent des cas difficiles. Dans les usages où une erreur aurait des conséquences importantes, les résultats doivent être vérifiés et les limites du système clairement prises en compte.

Ce qu’il faut surveiller

La prochaine étape de la recherche consiste à conserver les avantages de la géométrie multivue tout en réduisant la dépendance à des caméras parfaitement calibrées. Des modèles capables de s’adapter à des installations nouvelles, à un nombre variable de vues et à des environnements visuels différents seraient plus faciles à déployer hors des laboratoires.

Il faudra également suivre l’équilibre entre précision et ressources nécessaires. Un système qui analyse toutes les images, tous les pixels et toutes les relations possibles entre caméras peut devenir très gourmand en calcul. Or les applications en robotique ou en interaction temps réel ne peuvent pas toujours attendre le traitement d’un serveur distant.

MV-SSM illustre une orientation claire : les meilleures reconstructions 3D ne viendront probablement ni de la seule géométrie classique ni du seul deep learning. Elles dépendront de systèmes capables de faire coopérer les deux, en exploitant les informations visuelles riches des caméras sans perdre les contraintes concrètes de l’espace physique.