IA générative : des réponses brillantes, mais une carte du monde incohérente

Écrire un poème, produire du code informatique opérationnel ou recommander un trajet dans New York sont des tâches qui peuvent donner l’impression qu’une IA générative comprend ce dont elle parle. Pourtant, derrière une réponse fluide et souvent convaincante, la machine ne possède pas nécessairement une représentation cohérente de la situation. C’est le constat qu’invite à faire une étude menée par des chercheurs du MIT, publiée dans un contexte où les modèles massifs de langage impressionnent autant qu’ils interrogent.

Le résultat ne signifie pas que ces systèmes sont inutiles, ni que chacune de leurs réponses est fausse. Il met plutôt en évidence une distinction essentielle : réussir une tâche dans les cas vus ou proches des exemples d’entraînement ne revient pas forcément à comprendre les règles qui organisent un environnement. Cette nuance devient capitale dès lors que l’IA est envisagée dans des situations qui ne tolèrent pas l’à-peu-près, comme la navigation, la conduite ou le traitement d’informations complexes.

Des modèles très doués pour prédire la suite

Les modèles génératifs de langage sont entraînés à prédire l’élément suivant d’une séquence, par exemple le mot le plus probable après une série de mots. À une très grande échelle, cet exercice leur permet d’apprendre d’innombrables régularités dans les textes, le code et d’autres données. C’est ce mécanisme qui leur donne la capacité de rédiger des phrases harmonieuses, de résumer un document ou de générer des programmes qui fonctionnent.

Cette réussite observable ne renseigne toutefois pas, à elle seule, sur ce qui se passe à l’intérieur du modèle. Lorsqu’un système donne un bon itinéraire, a-t-il construit une carte fiable de la ville ? Lorsqu’il joue correctement, a-t-il assimilé les règles du jeu, ou reproduit-il des enchaînements qui ont souvent été efficaces dans ses données d’apprentissage ?

Les chercheurs du MIT se sont intéressés à cette question en examinant non seulement la réponse finale d’un modèle, mais aussi la cohérence de sa représentation interne. Leur travail cible ainsi une faiblesse possible des évaluations habituelles : un score élevé à une tâche peut masquer une compréhension instable, qui ne se révèle qu’au premier changement de contexte.

L’exemple de New York : un itinéraire juste, une carte fausse

L’étude s’appuie notamment sur un cas de navigation à New York. Les modèles testés pouvaient fournir des indications de conduite précises. À première vue, le résultat paraît solide : l’IA semble connaître la ville et ses rues.

Mais les chercheurs ont introduit une variation simple, des détours dans les trajets. C’est là que les performances se sont dégradées de façon spectaculaire. Un système qui réussit à produire une réponse valable dans une configuration donnée peut donc être mis en échec par une modification limitée de l’environnement.

L’examen des représentations produites a révélé un problème plus profond. Les cartes de New York générées par les modèles contenaient de nombreuses rues inexistantes. Ces voies fictives traversaient une grille urbaine et reliaient entre elles des intersections éloignées. Autrement dit, le modèle pouvait parfois arriver à une bonne recommandation sans disposer d’une cartographie fidèle et globalement compatible avec la réalité décrite.

Il faut éviter une interprétation excessive : cette expérience ne permet pas de réduire l’ensemble des capacités de l’IA générative à un seul défaut. Elle montre en revanche que la réussite apparente d’une tâche de navigation ne suffit pas à garantir une modélisation robuste de l’espace. C’est précisément cette différence entre performance ponctuelle et cohérence générale que les auteurs cherchent à mesurer.

Pourquoi les petits changements mettent les modèles en difficulté

Dans un environnement réel, une règle doit généralement rester valable lorsque le contexte évolue dans des limites raisonnables. Si une rue est fermée, un conducteur ou un système de navigation fiable doit pouvoir recalculer un itinéraire à partir d’une carte cohérente. Il ne doit pas avoir besoin de retrouver presque exactement une situation déjà rencontrée.

Les résultats rapportés par les chercheurs suggèrent que les modèles évalués sont parfois davantage sensibles à la forme des séquences qu’à l’organisation du monde qu’elles décrivent. Ils peuvent reconnaître des configurations fréquentes et générer une suite plausible, tout en échouant à relier correctement les éléments d’une situation nouvelle.

Ce phénomène aide à comprendre pourquoi une IA peut paraître particulièrement compétente dans une démonstration, puis commettre une erreur surprenante après une consigne légèrement modifiée. Dans le langage courant, on parle souvent d’« hallucination » pour désigner une information inventée par une IA. Ici, le problème étudié est plus structurel : il concerne la capacité à conserver un modèle cohérent d’un environnement, de ses états et de ses règles.

Cette fragilité représente un enjeu pratique. Dans un usage créatif ou une conversation informelle, une approximation peut être facilement repérée et corrigée. Dans une application où une décision dépend d’une représentation exacte du monde, une erreur de connexion, de règle ou de séquence peut avoir des conséquences bien plus importantes.

Deux critères pour tester la cohérence d’un modèle du monde

Pour dépasser la simple vérification des bonnes réponses, les chercheurs ont conçu de nouveaux critères d’évaluation. Leur but est de déterminer si un modèle encode réellement les informations nécessaires pour distinguer les situations et en déduire correctement la suite.

Le premier critère repose sur les séquences de distinction. Il évalue si le modèle est capable de reconnaître que deux états sont différents. Cette propriété paraît élémentaire, mais elle est indispensable : deux positions, deux configurations ou deux moments qui ne permettent pas les mêmes actions ne doivent pas être confondus.

Le second repose sur les séquences de compression. Il vérifie, à l’inverse, si le modèle comprend que deux états identiques doivent conduire à la même séquence d’étapes ultérieures. Un système doté d’une représentation cohérente doit éviter de multiplier artificiellement des états qui sont, en réalité, équivalents.

Ces deux tests examinent donc deux erreurs opposées :

• confondre des situations qui devraient être distinguées ;
• séparer des situations qui devraient être reconnues comme identiques.

Dans le cas d’une carte, la première erreur peut conduire à traiter deux intersections différentes comme si elles étaient interchangeables. La seconde peut empêcher de reconnaître qu’un même lieu, atteint par deux itinéraires différents, reste le même point dans l’espace. En combinant ces critères, les chercheurs cherchent à vérifier que le modèle ne se contente pas de produire une réponse convaincante, mais qu’il organise les états de façon logique.

Des données aléatoires parfois plus utiles que des stratégies établies

L’un des résultats les plus contre-intuitifs concerne les données d’entraînement. Les chercheurs observent que des modèles formés sur des données générées aléatoirement peuvent développer de meilleures représentations du monde que ceux entraînés à partir de stratégies préétablies.

L’explication avancée tient à la diversité des mouvements observés. Des données aléatoires exposent le modèle à un plus grand nombre de transitions et de situations possibles. Il peut ainsi rencontrer des cas moins habituels, mais utiles pour reconstituer les relations entre les différents états d’un environnement.

À l’inverse, une stratégie définie peut privilégier les chemins les plus efficaces ou les comportements les plus fréquents. Elle produit alors des exemples performants, mais potentiellement moins variés. Le modèle risque d’apprendre les apparences de la réussite sans explorer suffisamment les règles qui expliquent pourquoi une action mène à une autre.

Le constat ne veut pas dire que l’aléatoire est toujours préférable à des données organisées. Il souligne plutôt qu’un entraînement fondé uniquement sur des comportements attendus peut laisser des zones aveugles. Pour apprendre une représentation solide, un système doit aussi être confronté à des possibilités diverses, y compris à des chemins qui ne constituent pas la solution optimale.

Quelles conséquences pour les usages de l’IA générative ?

Ces travaux rappellent qu’il faut adapter le niveau de confiance à la nature de la tâche. Un modèle génératif reste un outil très efficace pour assister la rédaction, explorer des idées, produire une première version de code ou mettre en forme des informations. Dans ces usages, l’utilisateur peut vérifier, corriger et contextualiser le résultat.

La prudence augmente lorsque l’outil est sollicité pour décrire un environnement réel, guider une action ou interpréter une situation complexe. Une réponse précise en apparence peut reposer sur des associations apprises plutôt que sur une compréhension stable des contraintes du terrain.

Cette limite concerne aussi les méthodes d’évaluation. Tester un modèle sur des exercices proches de ses données ne suffit pas toujours. Il faut vérifier sa capacité à gérer des exceptions, des détours, des changements de règle et des combinaisons inédites. En d’autres termes, la question n’est pas seulement « l’IA trouve-t-elle souvent la bonne réponse ? », mais aussi « peut-elle expliquer la structure du problème à travers ses comportements ? ».

Pour les concepteurs, l’enjeu est de repenser à la fois l’apprentissage et les tests. Des environnements mieux définis, des données plus variées et des métriques centrées sur la représentation du monde pourraient aider à bâtir des systèmes plus robustes. Pour les utilisateurs, la leçon est plus immédiate : il demeure nécessaire de contrôler les informations importantes, même lorsqu’une IA formule sa réponse avec une assurance parfaite.

Ce qu’il faut surveiller

La recherche décrite par le MIT ouvre une piste importante : appliquer ces nouveaux critères à des projets scientifiques et à des problèmes où les règles ne sont comprises que partiellement. L’objectif est de détecter plus tôt les situations dans lesquelles un modèle semble fiable, mais repose sur une représentation incomplète ou contradictoire.

À terme, ces méthodes pourraient contribuer à mieux distinguer les IA capables de généraliser réellement d’un contexte à l’autre de celles qui excellent surtout dans des scénarios familiers. Pour des applications sensibles, notamment celles qui exigent une navigation, une planification ou l’analyse d’informations complexes, cette distinction est décisive.

L’IA générative n’a donc pas besoin d’être parfaite pour être utile. Mais ses performances spectaculaires ne doivent pas faire oublier la question centrale soulevée par cette étude : un système peut-il rester cohérent lorsque le monde qu’on lui présente cesse de ressembler exactement à ses exemples passés ?