Spaitial veut apprendre à l’IA à concevoir des mondes 3D soumis aux lois physiques

Une image générée par intelligence artificielle peut aujourd’hui sembler très réaliste sans pour autant constituer un véritable morceau de monde numérique. Elle montre un objet, un décor ou une rue sous un angle donné, mais ne garantit ni la cohérence de la scène lorsqu’on change de point de vue, ni le comportement des matériaux, ni les lois physiques qui gouvernent les interactions. C’est précisément cette frontière que la start-up munichoise Spaitial entend franchir avec ses modèles dédiés aux environnements en trois dimensions.

Annoncée en mai 2025, l’approche de l’entreprise repose sur des Spatial Foundation Models, ou SFM. Ces modèles sont conçus pour créer et interpréter des scènes 3D complexes à partir d’images et de textes, en tenant compte non seulement de leur apparence, mais aussi de leur structure spatiale et de caractéristiques physiques. L’enjeu dépasse la production d’images spectaculaires : il s’agit de doter l’IA d’une représentation de l’espace qui puisse servir à explorer, modifier et, à terme, simuler un environnement.

Pourquoi une belle image 2D ne suffit pas à représenter le réel

Les systèmes génératifs les plus connus travaillent principalement à partir de texte, de pixels ou de séquences d’images. Ils savent produire une vue plausible d’un salon, d’une usine ou d’une ville. Mais une vue plausible n’est pas automatiquement une scène utilisable dans un logiciel de conception, un jeu vidéo, un casque de réalité virtuelle ou un simulateur de robot.

Prenons un exemple simple : une IA peut afficher une table en bois dans une pièce. Pour qu’un système 3D puisse réellement exploiter cette scène, il doit idéalement savoir où se trouvent les surfaces, quelle est leur forme, quelles parties sont cachées par la caméra, de quel matériau elles sont composées et comment elles se comporteraient si un objet venait les toucher. Il doit aussi conserver ces informations lorsqu’un utilisateur déplace sa caméra ou observe la scène depuis un autre angle.

C’est là que Spaitial situe sa différence. Ses SFM ne visent pas seulement à prédire des pixels convaincants : ils doivent agir sur des éléments propres à la 3D, comme la géométrie, les matériaux et les propriétés physiques. L’entreprise cherche ainsi à produire des représentations spatiales et temporelles plus cohérentes, indispensables lorsqu’il faut simuler un phénomène physique ou naviguer librement dans un environnement.

Cette ambition répond à une limite importante des contenus générés par IA. Une illustration peut paraître exacte à l’œil humain tout en étant impossible à reconstruire de manière cohérente. Un mur peut changer de place selon l’angle de vue, une poignée de porte peut ne mener nulle part, ou un objet peut présenter une forme incompatible avec une perspective différente. Dans les médias, cela peut n’être qu’un défaut visuel. En robotique, en architecture ou dans un jumeau numérique, ce type d’incohérence devient un obstacle concret.

Comment fonctionnent les Spatial Foundation Models de Spaitial ?

Les éléments présentés par Spaitial décrivent des modèles capables de prendre plusieurs types d’entrées : une image unique, un court extrait vidéo ou un texte. À partir de là, ils doivent générer ou interpréter un environnement 3D. L’entreprise affirme viser des scènes à la fois photoréalistes et physiquement exactes, dans lesquelles un utilisateur peut se déplacer et faire varier le point de vue de la caméra.

Le mot important est ici « structure ». Une scène 3D ne se réduit pas à son rendu final sur un écran. Elle associe habituellement plusieurs couches d’information :

Dans une approche de ce type, le rendu visuel reste essentiel, mais il devient la conséquence d’une représentation spatiale plus riche. L’objectif de Spaitial est donc d’unifier l’apparence d’un environnement et les informations permettant de l’explorer. Cela pourrait simplifier la création d’un décor virtuel depuis un contenu existant, plutôt que de reconstruire à la main chaque volume, texture et élément de décor.

Il convient toutefois de distinguer l’ambition technologique d’une démonstration exhaustive en conditions réelles. Les informations communiquées en mai 2025 posent une direction claire, mais ne détaillent pas encore les performances des SFM sur des scénarios variés, leur coût de calcul, leur précision de mesure ou leur intégration dans les logiciels professionnels. Ces critères seront déterminants pour évaluer leur utilité au-delà des démonstrations visuelles.

De l’image générée à une scène que l’on peut parcourir

Spaitial met en avant la possibilité de créer des scènes 3D à partir d’une seule image, d’une courte vidéo ou d’un prompt textuel. Cette promesse intéresse particulièrement les secteurs qui ont besoin d’environnements immersifs. Dans le jeu vidéo, le cinéma et la réalité augmentée ou virtuelle, générer rapidement un décor est utile, mais pouvoir le visiter avec une caméra mobile l’est davantage.

La cohérence entre les points de vue constitue un défi central. Lorsqu’un utilisateur avance dans une scène virtuelle, les éléments jusque-là hors champ doivent apparaître sans contredire ce qui était visible auparavant. De même, les objets doivent conserver leurs proportions, leur position et leur aspect. Les SFM sont pensés pour rendre cette exploration plus fluide et moins dépendante d’assemblages manuels.

Pour le cinéma ou les effets visuels, une telle approche pourrait aider à prototyper des décors numériques et à tester des cadrages. Pour les expériences en réalité virtuelle, elle pourrait contribuer à réduire l’écart entre une image fixe générée et un espace réellement navigable. Et pour la réalité augmentée, où des objets virtuels sont superposés au monde physique, la compréhension de la profondeur, des surfaces et des matériaux est un préalable essentiel à une insertion crédible.

Des usages qui vont de la création aux infrastructures

Spaitial envisage des applications dans des domaines très différents, un signe de l’importance stratégique que prennent les représentations numériques du monde réel. Les jumeaux numériques figurent parmi les débouchés les plus évidents. Il s’agit de répliques numériques d’un lieu, d’un bâtiment, d’une infrastructure ou d’un processus, utilisées pour observer, planifier ou tester des modifications avant d’agir dans le monde physique.

Dans une ville ou sur un site industriel, un jumeau numérique peut par exemple servir à représenter des bâtiments, des équipements et des zones de circulation. Une IA capable d’interpréter des images et de les transformer en scènes 3D structurées pourrait accélérer certaines étapes de modélisation. La valeur dépendrait alors de la fidélité de la représentation et de sa capacité à rester à jour, deux exigences majeures pour une utilisation opérationnelle.

La robotique autonome est un autre terrain d’application. Un robot mobile ou un système automatisé doit localiser les obstacles, distinguer les surfaces franchissables, anticiper les mouvements et agir dans un environnement qui évolue. Une meilleure compréhension spatiale peut l’aider à planifier ses actions. Pour autant, un modèle de monde numérique ne remplace pas à lui seul les capteurs, les mécanismes de sécurité et les tests indispensables lorsqu’une machine agit près de personnes ou d’équipements.

Les secteurs cités par Spaitial peuvent être regroupés selon le rôle attribué à la 3D :

• Médias immersifs : jeux vidéo, cinéma, réalité augmentée et réalité virtuelle, où l’objectif est de créer ou d’explorer des univers visuels.
• Industrie et urbanisme : modélisation d’infrastructures, planification et suivi de sites complexes.
• Jumeaux numériques : représentation d’actifs physiques afin de mieux les visualiser et de simuler certains scénarios.
• Robotique et automatisation : compréhension d’espaces dynamiques et préparation de tâches dans le monde réel.

Une équipe issue de la recherche 3D et des grands groupes technologiques

Pour développer ces modèles, Spaitial s’appuie sur une équipe qui réunit recherche académique et expérience industrielle. Son fondateur, Matthias Niessner, est professeur à l’Université technique de Munich. Les cofondateurs Ricardo Martin-Brualla et David Novotny apportent pour leur part des compétences acquises chez Google et Meta.

La société compte également sur des chercheurs reconnus dans le domaine des représentations 3D, parmi lesquels Katja Schwarz, qui a participé au développement de modèles génératifs 3D. Cette combinaison est significative dans un secteur où le passage d’une idée de recherche à un produit implique plusieurs défis : constituer des jeux de données pertinents, entraîner des modèles coûteux, mesurer leur cohérence spatiale et les connecter aux outils utilisés par les professionnels.

Spaitial a annoncé avoir levé 13 millions de dollars lors d’un tour de financement mené par Earlybird Venture Capital. Parmi les investisseurs mentionnés figure Robin Rombach. Cette somme doit servir à faire progresser la technologie des SFM, à élargir l’équipe et à engager des partenariats stratégiques pour éprouver des cas d’usage précis.

Le financement ne garantit pas le succès technique, mais il donne à l’entreprise les moyens de travailler sur un problème particulièrement exigeant. Les données 3D sont souvent plus rares, plus complexes et plus lourdes à traiter que les corpus d’images 2D. La création de modèles capables de concilier réalisme visuel, structure géométrique et propriétés physiques exige donc des ressources importantes, tant en recherche qu’en calcul.

Ce qu’il faut surveiller pour juger la promesse de Spaitial

Le projet de Spaitial s’inscrit dans une trajectoire plus large de l’intelligence artificielle : passer de systèmes qui décrivent ou illustrent le monde à des systèmes qui peuvent en construire une représentation manipulable. On parle parfois de « modèles du monde » pour désigner cette ambition. Dans sa version la plus avancée, un tel modèle permettrait à un agent d’IA de comprendre un environnement, d’anticiper les conséquences de ses actions et d’y intervenir de manière plus fiable.

Les prochains résultats de Spaitial devront répondre à des questions concrètes. Les scènes générées restent-elles cohérentes lorsque l’on s’éloigne fortement du point de vue initial ? Les propriétés physiques annoncées sont-elles assez précises pour une vraie simulation ? Quels outils permettront aux créateurs, architectes, ingénieurs ou roboticiens de corriger et contrôler les résultats ? Et, surtout, dans quels cas la génération par IA sera-t-elle plus rapide ou plus utile qu’une modélisation 3D classique ?

L’entreprise prévoit de collaborer avec des partenaires afin de tester des applications ciblées. Elle propose également une liste d’attente aux personnes intéressées par un accès anticipé à sa technologie. Ces expérimentations diront si les Spatial Foundation Models peuvent devenir une brique de travail fiable pour les professionnels, ou s’ils resteront d’abord un outil de génération immersive.

Pour l’heure, Spaitial met surtout sur la table une idée forte : l’IA générative ne doit plus seulement produire une apparence crédible, elle doit apprendre à organiser l’espace qui se trouve derrière l’image. Si cette promesse se vérifie, les mondes numériques pourraient devenir plus faciles à créer, mais aussi plus cohérents à parcourir, à simuler et à utiliser.