De photos 2D à des scènes 3D, Harvard accélère la reconstruction numérique

Transformer une série de photographies ordinaires en une représentation numérique d’un lieu réel est l’un des grands défis de la vision par ordinateur. Pour un humain, reconnaître un bâtiment sur plusieurs images paraît immédiat. Pour une machine, en déduire la position de chaque élément dans l’espace, ainsi que les distances et les points de vue, exige une chaîne de calculs particulièrement complexe.

Des chercheurs de la Harvard John A. Paulson School of Engineering and Applied Sciences, ou SEAS, proposent une méthode destinée à accélérer et à fiabiliser cette reconstruction. Présenté à l’été 2025, leur travail, intitulé Building Rome with Convex Optimization, combine des prédictions de profondeur issues de l’intelligence artificielle avec l’optimisation convexe, une famille de méthodes mathématiques. L’objectif est précis : éviter de partir d’une géométrie approximative que l’ordinateur devrait ensuite corriger laborieusement.

Comment une collection de photos 2D devient-elle un environnement 3D ?

Une photo est une projection plane du monde : elle montre la hauteur et la largeur des objets, mais ne livre pas directement leur distance par rapport à l’appareil. Une façade proche peut ainsi occuper autant de place dans l’image qu’un immeuble beaucoup plus grand situé plus loin. Pour reconstituer un volume, le système doit donc croiser les informations de plusieurs vues.

Le principe repose notamment sur la parallaxe. Lorsqu’un photographe se déplace, les objets proches semblent se décaler davantage dans son champ de vision que les éléments éloignés. En repérant les mêmes détails, par exemple le bord d’une fenêtre, une pierre ou un angle de mur, dans des clichés pris sous différents angles, un ordinateur peut commencer à inférer leur emplacement dans l’espace.

Le résultat intermédiaire est souvent un nuage de points, c’est-à-dire un ensemble de coordonnées qui dessinent progressivement les contours du lieu ou de l’objet observé. À partir de cette structure, on peut produire un modèle plus exploitable pour la cartographie, l’architecture, la robotique ou les expériences immersives.

Pourquoi les méthodes classiques peuvent-elles ralentir la reconstruction ?

La reconstruction 3D à partir de photographies n’est pas une idée nouvelle. Elle est au cœur de techniques employées depuis longtemps dans la photogrammétrie, la cartographie et la navigation robotique. Mais les méthodes habituelles demandent souvent de construire progressivement une solution : l’ordinateur commence avec une estimation de départ, ajoute des vues, puis affine la position des points au fil des calculs.

Cette étape initiale est délicate. Si la première hypothèse est imparfaite, l’algorithme peut consacrer beaucoup de temps à la corriger ou s’orienter vers une géométrie qui ne représente pas bien la scène. Il ne s’agit pas d’une « devinette » au sens courant, mais d’un problème mathématique : parmi les nombreuses configurations spatiales possibles, il faut trouver celle qui concilie le mieux toutes les observations disponibles.

Les robots autonomes sont particulièrement concernés. Pour se déplacer, ils doivent comprendre où se trouvent les murs, les obstacles, les objets et les passages. Or, attendre trop longtemps avant d’obtenir une carte suffisamment fiable peut limiter leur capacité à réagir dans un environnement réel. Le même enjeu existe lorsqu’il faut numériser rapidement un monument, un quartier ou un site difficile d’accès.

Les chercheurs de Harvard se sont donc attaqués à une question centrale : peut-on formuler le problème de manière à ne plus dépendre d’une hypothèse géométrique initiale fragile ? Leur réponse passe par l’optimisation convexe.

Ce que change l’optimisation convexe dans la méthode de Harvard

Les auteurs de l’étude, Haoyu Han et Heng Yang, ont conçu un algorithme qui estime simultanément les positions de tous les points présents dans une scène. Au lieu de s’appuyer sur une reconstruction initiale à améliorer par étapes, leur approche vise une résolution globale du problème.

L’optimisation convexe est utile lorsque l’on cherche la meilleure solution à un problème tout en évitant certaines impasses de calcul. Dans de nombreuses situations, les algorithmes d’optimisation peuvent se retrouver bloqués dans une solution localement satisfaisante, mais qui n’est pas la meilleure représentation possible de la scène entière. Une formulation convexe rend la recherche plus structurée et moins dépendante du point de départ choisi.

L’autre ingrédient est la prédiction de profondeur par intelligence artificielle. À partir des indices visuels d’une image, tels que la perspective, les contours et les tailles apparentes, des modèles peuvent fournir une indication sur l’organisation spatiale de la scène. Cette prédiction ne remplace pas les informations apportées par les multiples photos, mais elle peut guider les calculs géométriques.

La combinaison des deux approches est au cœur de Building Rome with Convex Optimization. L’intelligence artificielle apporte des indices sur la profondeur, tandis que l’optimisation numérique cherche une reconstruction cohérente à l’échelle de toutes les images. Selon les travaux présentés, cette méthode se révèle à la fois plus rapide et plus robuste que des techniques classiques dépendantes d’une initialisation.

Le Colisée de Rome comme test à grande échelle

Pour montrer les capacités de leur système, les chercheurs ont choisi un monument particulièrement exigeant : le Colisée de Rome. Sa forme monumentale, ses arches répétées, ses détails architecturaux et la variété des angles sous lesquels il peut être photographié en font un bon terrain d’essai pour une reconstruction à grande échelle.

L’équipe a reconstitué le site à partir d’environ 2 000 images. La méthode a également été testée avec plus de 10 000 images, afin d’évaluer son efficacité lorsque le volume de données devient très important. Ces chiffres illustrent un point essentiel : la difficulté ne consiste pas seulement à analyser chaque cliché, mais aussi à faire travailler ensemble toutes les observations sans faire exploser le temps de calcul.

Le choix du Colisée a aussi une portée concrète pour le patrimoine culturel. Une reconstruction numérique précise peut contribuer à documenter un édifice, à préparer des études architecturales ou à proposer de nouvelles formes de visite virtuelle. Elle ne remplace évidemment ni le monument ni le travail des spécialistes, mais elle peut devenir un outil de mesure, de visualisation et d’archivage.

Des usages possibles, de la cartographie aux robots

Cette avancée intéresse d’abord la robotique et les systèmes de navigation. Un robot mobile, un véhicule autonome ou un appareil de cartographie doit produire une représentation fiable de son environnement pour savoir où il se trouve et comment se déplacer. Si la reconstruction est plus efficace, les données visuelles peuvent devenir plus utiles dans des contextes où les décisions doivent être prises rapidement.

L’architecture et l’urbanisme font également partie des domaines concernés. Des photographies prises autour d’un bâtiment ou sur un chantier peuvent servir à créer une représentation spatiale, à condition que les images couvrent suffisamment le lieu. Dans le domaine du patrimoine, la même logique aide à capturer la géométrie de monuments et de sites historiques.

À plus long terme, des applications pourraient aussi émerger dans la réalité virtuelle, la réalité augmentée, l’imagerie médicale ou l’inspection industrielle. Ces pistes ne signifient pas que la méthode de Harvard est déjà déployée dans tous ces secteurs. Elles montrent plutôt pourquoi l’amélioration des outils de reconstruction 3D est suivie de près : toute application qui doit relier des images à un espace réel peut potentiellement en bénéficier.

Ces recherches s’inscrivent dans un mouvement plus vaste autour des représentations immersives. Des projets tels que Starline de Google témoignent de l’intérêt des grandes entreprises technologiques pour des expériences visuelles plus réalistes, même si leur finalité, centrée sur la communication à distance, est différente de celle d’un algorithme de reconstruction destiné à la robotique ou à la cartographie.

Des limites qui dépendent toujours des images

L’algorithme ne peut pas créer une géométrie parfaite à partir de données insuffisantes. La qualité du résultat dépend encore fortement de la qualité et de la diversité des photographies. Des images floues, trop sombres, prises sous des angles presque identiques ou montrant de larges zones sans texture offrent peu d’indices au système.

Les surfaces répétitives posent aussi un défi classique. Sur une façade comportant de nombreuses fenêtres semblables, le logiciel peut avoir plus de mal à déterminer quelles fenêtres correspondent exactement d’une photo à l’autre. Les objets réfléchissants, transparents ou en mouvement compliquent également la reconstruction, car leur apparence varie selon le point de vue.

Il faut enfin distinguer la qualité visuelle d’un modèle et sa précision métrique. Une scène peut sembler convaincante à l’écran tout en comportant de petites erreurs de distance ou d’alignement. Pour des usages où quelques centimètres comptent, par exemple dans certains travaux d’ingénierie ou de robotique, la validation du résultat reste indispensable.

Une reconnaissance dans la communauté robotique

Les travaux de Haoyu Han et Heng Yang ont reçu le Best Systems Paper Award en mémoire de Seth Teller lors de la conférence Robotics: Science and Systems. Cette distinction souligne l’intérêt de la communauté scientifique pour une approche qui traite un problème ancien de vision par ordinateur avec des outils mathématiques et d’intelligence artificielle complémentaires.

L’étude est accessible sous forme de prépublication sur arXiv. Comme pour tout travail de recherche, cette disponibilité permet aux autres équipes d’examiner la méthode, de la comparer à leurs propres approches et de tester sa robustesse sur d’autres jeux d’images et d’autres environnements.

Ce qu’il faut surveiller après cette avancée

La prochaine étape sera de mesurer comment cette approche se comporte hors des démonstrations contrôlées : dans des rues encombrées, des intérieurs peu éclairés, des sites naturels ou des environnements où les objets changent de position. La vitesse de traitement, la précision des distances et la capacité à fonctionner avec des images imparfaites seront les critères les plus importants.

Il faudra aussi voir dans quelle mesure ces méthodes peuvent être intégrées à des outils accessibles aux architectes, aux conservateurs de patrimoine et aux équipes de robotique. À la date de publication de cet article, le 12 août 2025, le résultat de Harvard est avant tout une avancée de recherche. Mais il éclaire une tendance forte : faire de simples collections de photos une matière première capable de donner aux machines une compréhension spatiale beaucoup plus riche du monde réel.