MoBluRF, le cadre qui transforme des vidéos floues en scènes 4D nettes

Une vidéo prise avec un smartphone peut sembler exploitable à l’œil nu, tout en devenant beaucoup plus difficile à utiliser dès qu’il s’agit d’en tirer une représentation 3D fidèle. Un léger tremblement de la main, un déplacement de la caméra ou le mouvement d’un sujet suffisent à mélanger les contours et à fausser les indices visuels nécessaires à la reconstruction. Dans une scène dynamique, l’erreur ne porte pas seulement sur la netteté d’une image : elle peut aussi déformer l’emplacement apparent des objets.

C’est le problème auquel s’attaque MoBluRF, un cadre proposé par une équipe dirigée par l’Assistant Professor Jihyong Oh, de l’Université Chung-Ang, et le professeur Munchurl Kim, du KAIST. Présentée en septembre 2025, cette méthode cherche à reconstruire des scènes 4D précises à partir de séquences monoculaires légèrement floues filmées à la main. Son idée centrale est de ne pas traiter le flou comme un défaut unique, mais de séparer ce qui vient du déplacement de la caméra de ce qui provient des objets eux-mêmes.

Pourquoi le flou de mouvement gêne la reconstruction 3D

Le flou de mouvement apparaît lorsqu’un élément se déplace pendant le temps d’exposition du capteur. Au lieu d’enregistrer un contour ponctuel et net, l’image additionne plusieurs positions successives. Sur une photo de vacances, cet effet peut être simplement inesthétique. Pour un système qui doit déduire la forme, la profondeur et le mouvement d’une scène, ses conséquences sont plus profondes.

Les vidéos réalisées avec des appareils portables sont particulièrement concernées. La caméra change de position et d’orientation au fil de la capture, parfois de façon imprévisible. Dans le même temps, une personne, un animal, un véhicule ou tout autre objet présent dans la scène peut se déplacer selon sa propre trajectoire. Ces deux phénomènes se superposent dans les pixels flous.

Les approches conventionnelles de défloutage sont souvent pensées pour des images fixes. Elles peuvent restaurer une apparence plus nette, mais ne modélisent pas nécessairement, dans un même processus, le déplacement global de la caméra et les mouvements locaux des objets. Or, une reconstruction de scène a besoin de cohérence entre les images successives : elle doit savoir quels éléments appartiennent au décor, quels éléments changent de place, et depuis quel point de vue chaque image a été prise.

La difficulté est renforcée par l’estimation de la pose de la caméra. Cette pose correspond à sa position et à son orientation pour chaque image de la vidéo. Si elle est mal évaluée à cause du flou, la géométrie de la scène peut être imprécise. Une erreur de pose peut par exemple conduire le système à interpréter un tremblement de caméra comme un déplacement du décor, ou inversement.

Que reconstruit exactement un NeRF dynamique ?

MoBluRF est conçu pour les champs de radiance neuronaux, plus souvent désignés par l’acronyme NeRF. Cette famille de méthodes représente une scène grâce à un modèle neuronal qui apprend comment la lumière et la densité apparente varient selon un point de l’espace et une direction d’observation. Une fois la scène apprise, il devient possible de calculer son rendu depuis des points de vue qui ne figuraient pas explicitement dans la vidéo originale.

Dans une version dynamique, le modèle doit aussi intégrer le temps. Il peut alors tenter de rendre une personne en mouvement ou un objet qui se déplace, et pas uniquement une pièce immobile. C’est une perspective intéressante pour la création de contenus immersifs, la visualisation de lieux ou la compréhension d’environnements par des machines.

Mais les NeRF reposent sur la qualité des informations fournies pendant l’apprentissage. À chaque pixel est associé un rayon de caméra, c’est-à-dire une trajectoire virtuelle reliant la caméra à la scène observée. Si ce rayon est mal initialisé parce que la caméra bouge ou que l’image est floue, le modèle risque d’apprendre une géométrie erronée. MoBluRF intervient précisément sur cette relation entre images floues, rayons de caméra et représentation dynamique de la scène.

Deux étapes pour retrouver des rayons lumineux nets

L’architecture de MoBluRF est organisée en deux étapes complémentaires. La première établit une base de reconstruction, malgré l’imprécision des images. La seconde affine cette base afin de prédire des rayons qui correspondent mieux à une scène nette.

La phase BRI, pour Base Ray Initialization, ne prétend pas résoudre d’emblée tous les défauts du film. Elle produit d’abord une reconstruction approximative de la scène dynamique en 3D. Son rôle est essentiel : en raffinant les rayons de base associés aux caméras, elle fournit un point de départ plus fiable pour l’étape suivante. Autrement dit, le cadre évite de demander au système de restaurer simultanément et sans repère la structure de la scène, la pose des caméras et le flou.

La seconde phase est baptisée Motion Decomposition-based Deblurring, ou MDD. Elle s’appuie sur l’Incremental Latent Sharp-rays Prediction, abrégé ILSP. Le terme « latent » désigne ici une information qui n’est pas directement disponible dans l’image floue, mais que le modèle tente d’inférer : les rayons correspondant à une observation nette de la scène.

L’ILSP procède de manière incrémentale et décompose le flou en deux composantes : le mouvement global de la caméra et les mouvements locaux des objets. Cette distinction est importante. Lorsqu’un téléphone est déplacé, la scène entière semble glisser dans l’image. Lorsqu’une personne traverse le cadre, son déplacement concerne seulement une partie de cette image. Les confondre dégrade aussi bien la netteté apparente que la géométrie reconstituée.

Des fonctions de perte pour isoler mouvement et géométrie

Comme de nombreuses méthodes d’apprentissage automatique appliquées à l’image, MoBluRF est entraîné en minimisant des fonctions de perte. Il s’agit de critères mathématiques qui mesurent l’écart entre le résultat attendu et celui produit par le modèle. Lorsque l’écart diminue, le système est orienté vers une meilleure reconstruction.

L’équipe introduit deux nouvelles fonctions de perte. La première sert à séparer les régions statiques des régions dynamiques sans recourir à des masques de mouvement. Ces masques sont des indications qui signalent explicitement les zones où quelque chose bouge. Leur production peut être coûteuse ou peu fiable dans des vidéos prises sur le vif. En s’en passant, MoBluRF vise un traitement plus automatique des séquences.

La seconde fonction de perte cible la précision géométrique des objets en mouvement. C’est un point délicat : un défloutage qui rend une silhouette plus nette n’est pas forcément capable de reconstruire correctement son volume, sa position ou son évolution dans l’espace. L’objectif de MoBluRF est donc double, restaurer des observations plus nettes et conserver une structure spatiale cohérente lorsque la scène change.

Quels résultats revendique MoBluRF ?

D’après les résultats rapportés par les chercheurs, MoBluRF surpasse les méthodes précédentes sur les plans quantitatif et qualitatif, avec des écarts significatifs sur plusieurs ensembles de données. La publication d’origine ne fournit toutefois ni valeurs de benchmark ni détail des scènes évaluées. Il serait donc imprudent d’en déduire un gain chiffré universel ou de promettre le même résultat dans toutes les vidéos.

L’équipe met également en avant la robustesse du cadre face à différents niveaux de flou. C’est un élément important pour des usages réels, car la qualité d’une capture mobile varie fortement selon l’éclairage, la vitesse des déplacements, la stabilisation de l’appareil et la complexité du décor.

Le progrès revendiqué est avant tout méthodologique. Plutôt que de considérer une image floue comme une simple image nette à restaurer, MoBluRF l’intègre dans une reconstruction dynamique où la caméra et les objets peuvent avoir des mouvements distincts. Cette approche est particulièrement adaptée aux séquences monoculaires, c’est-à-dire tournées avec une seule caméra.

Des usages possibles, du musée aux robots mobiles

Si cette méthode se confirme dans des conditions variées, elle pourrait élargir les possibilités offertes par les vidéos ordinaires. Un visiteur pourrait, par exemple, filmer un espace de musée avec un appareil grand public et obtenir une base plus fiable pour un modèle 3D, même si la capture manque légèrement de stabilité. Il ne s’agit pas de remplacer la numérisation professionnelle d’œuvres ou de bâtiments complexes, mais de réduire la dépendance à des installations de capture spécialisées pour certains projets.

Les domaines de la réalité virtuelle et de la réalité augmentée sont également concernés. La possibilité de synthétiser de nouveaux points de vue à partir d’une vidéo peut contribuer à produire des expériences plus immersives. Là encore, la qualité finale dépendra des données : un mouvement trop rapide, une scène peu éclairée ou des occlusions importantes restent des situations difficiles.

Pour la robotique et les drones, l’enjeu est différent. Un robot mobile doit construire une représentation utilisable de son environnement alors qu’il se déplace lui-même et que des éléments autour de lui peuvent bouger. Une reconstruction 3D dynamique plus précise à partir d’images imparfaites pourrait améliorer sa compréhension de la scène. Cette perspective concerne aussi bien l’identification d’obstacles que l’analyse de changements dans un environnement.

Ce qu’il faut surveiller pour passer de la recherche aux usages

MoBluRF répond à une limite bien identifiée de la vision par ordinateur, mais il ne fait pas disparaître toutes les difficultés de la reconstruction 4D. Les chercheurs soulignent eux-mêmes que l’amélioration de la précision géométrique et la réduction des erreurs dans les environnements de capture complexes restent des défis.

La première question est celle des limites de capture. Le cadre est conçu pour des vidéos monoculaires légèrement floues. Cette précision compte : une séquence fortement dégradée, très sombre ou ne montrant qu’une petite portion d’un objet pourra contenir trop peu d’informations pour qu’une méthode reconstitue une géométrie fiable. La cohérence visuelle d’un rendu ne garantit pas à elle seule que chaque détail correspond parfaitement à la réalité physique.

La deuxième question porte sur le coût de calcul et l’intégration dans des produits. Produire une scène dynamique et permettre la synthèse de nouvelles vues demande bien davantage qu’appliquer un filtre de netteté sur un téléphone. Les travaux comme MoBluRF constituent donc d’abord une avancée de recherche. Leur intérêt grand public dépendra de leur capacité à être rendus assez rapides, robustes et simples à utiliser dans des logiciels de création ou des appareils mobiles.

Enfin, l’évolution des évaluations sera déterminante. Pour juger ce type de méthode, il faut examiner à la fois la qualité visuelle des nouvelles vues, la fidélité géométrique des objets mobiles et sa résistance à des vidéos réellement capturées à main levée. C’est sur ces trois aspects que se jouera le passage d’une démonstration technique prometteuse à un outil fiable pour la création immersive, la robotique ou la documentation d’espaces.