Niantic mise sur les scans de Pokémon Go pour bâtir une IA géospatiale

Les joueurs de Pokémon Go arpentent des rues, des parcs et des places pour attraper des créatures virtuelles. Certaines de leurs actions peuvent aussi contribuer à documenter le monde réel. En novembre 2024, Niantic, l’entreprise derrière le jeu, indique développer un modèle géospatial d’IA, ou LGM pour Large Geospatial Model, alimenté par les millions de scans réalisés dans ses applications.

L’objectif ne consiste pas seulement à améliorer une carte classique. Niantic cherche à donner aux systèmes informatiques une compréhension plus riche des lieux : leur forme en trois dimensions, les objets qui les composent et la manière de s’y positionner. Cette intelligence spatiale pourrait servir à des expériences de réalité augmentée plus crédibles, mais aussi, à terme, à des machines devant interpréter leur environnement physique.

Niantic veut apprendre aux machines à lire les lieux

Une intelligence artificielle géospatiale traite des informations liées à un endroit réel. Là où une application de cartographie répond principalement à la question « où suis-je ? », un modèle de ce type ambitionne aussi de répondre à « qu’y a-t-il autour de moi ? » et « comment cet espace est-il organisé ? ».

Pour Niantic, cette distinction est centrale. L’entreprise dispose déjà d’un système de positionnement visuel, appelé VPS pour Visual Positioning System. Son principe est de déterminer, à partir d’une seule image prise avec un smartphone, la position de l’appareil et l’orientation dans laquelle il est tenu. Autrement dit, le téléphone ne dépend pas uniquement du GPS : il peut comparer ce qu’il voit avec une représentation connue du lieu.

Le futur LGM doit s’appuyer sur les réseaux neuronaux élaborés pour ce VPS. Niantic explique que cette base a été nourrie pendant cinq ans par des données issues de scans effectués par les utilisateurs lorsqu’ils exploraient des points d’intérêt au moyen de leurs appareils.

Le modèle vise donc à aller au-delà d’un simple catalogue de photos ou de coordonnées. Il doit permettre de produire et d’exploiter des cartes 3D à haute fidélité, susceptibles de servir de repères à des logiciels de réalité augmentée, à des appareils mobiles ou à des robots.

Comment les scans de Pokémon Go deviennent-ils des données d’entraînement ?

Le terme « données des joueurs » peut recouvrir de nombreuses réalités. Dans le projet décrit par Niantic, la matière utilisée pour entraîner le modèle correspond aux scans réalisés par les utilisateurs dans Pokémon Go et les autres produits de l’entreprise. Ces captures permettent de produire des représentations tridimensionnelles de lieux.

Un scan ne se résume pas à une photographie isolée. Lorsqu’un utilisateur se déplace autour d’un point d’intérêt avec son téléphone, plusieurs vues du même environnement peuvent être recueillies. En les rapprochant, des systèmes de vision par ordinateur peuvent estimer la forme d’un bâtiment, d’un monument, d’une façade, d’un chemin ou des éléments qui entourent un lieu.

Niantic présente cette masse d’informations comme une ressource particulièrement utile pour l’intelligence spatiale. Son scientifique en chef, Victor Prisacariu, souligne que les contributions issues des sessions de jeu peuvent permettre d’obtenir des cartes combinant deux dimensions complémentaires : la géométrie 3D et une compréhension sémantique de la scène.

La géométrie renseigne sur les volumes, les distances et les surfaces. La compréhension sémantique consiste, elle, à identifier la nature des éléments visibles. Le système ne voit alors pas seulement une zone de pixels ou une surface quelconque : il peut distinguer, par exemple, le sol, le ciel ou les arbres.

Cette méthode est différente d’une cartographie fondée principalement sur des images prises depuis la route. Les scans des joueurs proviennent d’une perspective piétonne. Ils peuvent donc représenter des zones qui ne sont pas facilement accessibles aux véhicules : allées de parc, zones piétonnes, abords de monuments ou autres lieux parcourus à pied.

Pourquoi la perspective des piétons est-elle importante ?

Une carte utile à un conducteur et une carte utile à une expérience de réalité augmentée ne décrivent pas nécessairement le même monde. Pour guider une voiture, la précision des voies de circulation, des croisements et des adresses est essentielle. Pour superposer un objet virtuel de façon crédible dans le champ de vision d’un téléphone, il faut aussi connaître les reliefs, les façades, les obstacles et les éléments visibles depuis le trottoir.

C’est ce que la collecte à hauteur de piéton peut apporter à Niantic. Dans un jeu en réalité augmentée, la cohérence de l’illusion dépend de la capacité à faire correspondre les contenus numériques avec l’espace physique. Un élément virtuel doit rester attaché au bon endroit lorsque l’utilisateur se déplace, plutôt que glisser à l’écran ou apparaître derrière un objet réel.

Le VPS de Niantic répond déjà à une partie de cette problématique en localisant le téléphone à partir d’une image. Le LGM envisagé pourrait enrichir cette approche en apprenant des régularités à grande échelle dans les environnements observés. L’enjeu n’est pas seulement de reconnaître un lieu précis, mais de mieux représenter les types d’objets et de structures qui composent les lieux.

Quelles applications Niantic envisage-t-il ?

Niantic présente son modèle comme un outil susceptible de transformer la manière dont les ordinateurs et les robots interagissent avec le monde. À ce stade, l’annonce met surtout en avant un potentiel, pas un catalogue de produits finalisés ni un calendrier de lancement précis.

La première application naturelle concerne la réalité augmentée. Une carte 3D comprenant à la fois la forme d’un lieu et les objets qui s’y trouvent peut aider une application à placer plus précisément des contenus numériques dans l’environnement. Dans les jeux de Niantic, cela pourrait renforcer le caractère interactif des expériences et rendre les interactions avec les lieux plus cohérentes.

Cette compréhension spatiale intéresse aussi la robotique. Un robot qui doit se déplacer ou agir dans un espace réel a besoin d’identifier des surfaces, des obstacles et des repères. Les données géospatiales peuvent l’aider à interpréter une scène, en complément de ses propres capteurs. Niantic évoque ainsi une ambition qui dépasse le jeu vidéo : faire progresser l’intelligence spatiale utilisée par les machines.

Il faut toutefois distinguer la promesse technologique de son déploiement effectif. La qualité d’un modèle dépend notamment de la diversité des scans, de la fréquence à laquelle les lieux évoluent et de sa capacité à fonctionner dans des environnements très différents. Une place animée, un parc végétalisé, une rue étroite ou un espace couvert ne présentent pas les mêmes défis visuels.

Un modèle géospatial est-il comparable à ChatGPT ?

Le qualificatif « grand modèle » peut évoquer les grands modèles de langage, tels que ceux qui génèrent du texte. Pourtant, la finalité est différente. Un modèle de langage est entraîné à repérer des relations dans de vastes ensembles textuels afin de produire ou analyser des phrases. Le modèle de Niantic s’intéresse d’abord aux relations spatiales dans le monde physique.

Dans les deux cas, l’entraînement repose sur des réseaux neuronaux et de très grands volumes de données. Mais les questions traitées ne sont pas les mêmes. Un modèle de langage apprend les liens entre les mots. Un modèle géospatial cherche à relier les images, les angles de vue, les volumes et les catégories d’objets à des emplacements concrets.

La notion de compréhension doit aussi être maniée avec prudence. Lorsqu’un système classe une zone comme du sol, du ciel ou un arbre, il réalise une interprétation calculée à partir de données d’entraînement. Il ne perçoit pas le monde comme un humain. Néanmoins, cette capacité à associer une image à une structure et à des catégories peut devenir très utile pour des interfaces mobiles et des systèmes autonomes.

Les données des joueurs posent la question de la confiance

L’annonce rappelle qu’un jeu mobile peut générer des données ayant une valeur bien au-delà de son usage immédiat. Un joueur qui effectue un scan peut d’abord vouloir améliorer une interaction dans le jeu. Ces mêmes contributions peuvent participer à l’entraînement d’un produit d’intelligence artificielle destiné à mieux modéliser des espaces réels.

Cette situation soulève des interrogations légitimes sur la confidentialité, l’information des utilisateurs et la sécurité des données. Quels contenus sont collectés précisément lors d’un scan ? Combien de temps sont-ils conservés ? Dans quels produits pourront-ils être réutilisés ? Quelles possibilités de contrôle sont proposées aux joueurs ? La publication d’origine ne détaille pas les réponses opérationnelles à chacune de ces questions.

Niantic indique poursuivre des politiques de protection des données et de respect de la vie privée. Pour les utilisateurs, la question déterminante est aussi celle de la lisibilité : les personnes qui contribuent à la cartographie d’un lieu doivent pouvoir comprendre clairement le rôle de leur contribution, particulièrement lorsqu’elle participe à l’entraînement d’un modèle d’IA.

La prudence est également nécessaire pour les espaces représentés. Des scans capturés dans l’espace public peuvent inclure, selon les situations, des personnes, des façades ou des détails de l’environnement. La qualité des garde-fous, les règles de traitement et la transparence sur les usages futurs seront donc aussi importantes que la performance technique du modèle.

Ce qu’il faut surveiller

Le projet de Niantic illustre une évolution importante de l’IA : après les modèles entraînés sur le texte, l’image ou l’audio, les entreprises cherchent à construire des systèmes capables de structurer le monde physique. La cartographie 3D et la compréhension sémantique des lieux peuvent devenir une brique stratégique pour la réalité augmentée et la robotique.

Plusieurs points mériteront une attention particulière. Le premier concerne les usages réellement proposés au public : Niantic devra montrer comment son LGM améliore concrètement les expériences plutôt que de se limiter à une démonstration technique. Le deuxième porte sur la robustesse du système face à des lieux changeants, à la météo, à l’affluence ou aux transformations urbaines.

Enfin, la confiance des joueurs sera décisive. Les millions de scans évoqués par Niantic font de sa communauté un acteur essentiel de la construction de cette intelligence géospatiale. L’entreprise devra donc rendre compréhensibles les conditions de collecte et de réutilisation des contributions, afin que l’innovation en réalité augmentée ne se fasse pas au prix d’une information insuffisante des utilisateurs.