IA générative : de bonnes réponses ne prouvent pas une compréhension du monde

Un texte fluide, un itinéraire convaincant ou une ligne de code qui fonctionne ne suffisent pas à établir qu’une intelligence artificielle comprend ce dont elle parle. C’est la leçon centrale d’une étude consacrée aux modèles génératifs : ils peuvent accomplir avec brio certaines tâches complexes tout en s’appuyant sur une représentation instable, voire incohérente, du monde qu’ils décrivent.

Cette distinction est essentielle au moment où les assistants conversationnels sont de plus en plus sollicités pour résumer des informations, produire du code, expliquer une règle ou orienter une décision. Leur force est manifeste : à partir d’une consigne, ils composent des phrases grammaticalement solides et enchaînent des éléments qui paraissent pertinents. Mais leur aisance verbale ne doit pas être confondue avec une connaissance fiable des lieux, des objets, des causes et des règles qui organisent la réalité.

Les travaux examinés s’intéressent à cette question avec des expériences de navigation dans New York et de jeu d’Othello. Ils montrent notamment qu’un modèle capable de fournir des directions valables peut néanmoins ne pas disposer d’une « carte mentale » cohérente de la ville. Lorsque les conditions changent à peine, ses résultats se dégradent fortement.

Prédire la suite n’est pas nécessairement comprendre

Les grands modèles de langage, souvent appelés LLM, reposent notamment sur l’architecture dite du transformer. Pendant leur entraînement, ils examinent d’immenses quantités de textes et apprennent à prédire le mot, ou plus exactement l’unité de texte, qui a le plus de chances de suivre une séquence donnée. Répétée à très grande échelle, cette tâche leur permet de produire un paragraphe, une réponse structurée, un poème ou un programme informatique.

Ce mode d’apprentissage est extrêmement performant pour repérer des régularités. Si de nombreux textes associent une notion à une autre, le modèle peut apprendre cette association et l’employer dans une réponse. Il peut aussi restituer des raisonnements présents dans ses données d’entraînement ou suivre des procédures décrites dans une consigne. Toutefois, une régularité statistique n’est pas automatiquement une compréhension conceptuelle.

Un humain qui connaît une ville peut normalement adapter son trajet lorsqu’une rue est fermée : il sait que les rues forment un réseau, que deux intersections sont reliées ou ne le sont pas, et qu’un détour doit respecter cette géographie. Un système qui a seulement assimilé des formulations fréquentes d’itinéraires peut donner une réponse correcte dans les cas déjà proches de ce qu’il a rencontré, mais se tromper dès qu’une condition sort de ce cadre.

La recherche ne tranche donc pas une question philosophique générale sur ce qu’est « comprendre ». Elle évalue un critère plus opérationnel : un modèle garde-t-il une représentation suffisamment cohérente d’un environnement pour raisonner correctement lorsque les règles ou les conditions de cet environnement changent ?

Le test de New York révèle des cartes incohérentes

Dans l’expérience consacrée à la navigation, les chercheurs ont observé qu’un modèle d’IA très utilisé pouvait fournir des indications précises pour se déplacer à New York. À première vue, le résultat suggère une bonne connaissance de la ville. Pourtant, l’examen de ses réponses fait apparaître une faiblesse plus profonde : le modèle ne semble pas s’appuyer sur une carte fidèle et stable.

Les cartes reconstruites à partir de ses réponses comportaient ainsi des rues fictives. Elles pouvaient aussi relier des intersections éloignées comme si elles étaient voisines. Ces incohérences géographiques révèlent une différence majeure entre produire des instructions qui ressemblent à des itinéraires et manipuler une représentation spatiale conforme au réseau réel des rues.

L’épreuve devient plus révélatrice encore lorsqu’un détail est modifié. Les chercheurs ont simulé la fermeture de rues ou l’apparition de détours. Avec seulement 1 % des rues fermées, l’exactitude du modèle tombait à 67 %. Une variation très limitée dans l’environnement suffisait donc à perturber fortement ses réponses.

Cette fragilité est importante parce qu’elle touche à la généralisation. Un outil peut obtenir de bons résultats sur les exemples qu’on lui soumet habituellement, mais échouer face à une exception pourtant simple pour un humain : une route barrée, une information nouvelle, une règle modifiée ou une contrainte inhabituelle.

Pourquoi le jeu d’Othello permet d’évaluer la cohérence d’un modèle

Les chercheurs ont également utilisé le jeu d’Othello, un jeu de plateau aux règles précises. À chaque coup, l’état du plateau détermine les coups autorisés. Cette structure permet de vérifier plus rigoureusement si le modèle distingue bien les situations et s’il reconnaît que deux configurations identiques doivent ouvrir les mêmes possibilités de jeu.

Le principe est plus large que le jeu lui-même. Pour se former une représentation cohérente d’un monde, un système doit être capable de différencier deux états qui entraînent des conséquences distinctes. Il doit aussi éviter de traiter comme différents deux états qui sont, en réalité, équivalents du point de vue des actions possibles.

L’étude introduit pour cela deux mesures : la distinction de séquence et la compression de séquence.

• La distinction de séquence examine si le modèle sépare correctement des états différents, par exemple deux plateaux d’Othello qui n’autorisent pas les mêmes coups.
• La compression de séquence vérifie, à l’inverse, si le modèle traite de façon similaire des états identiques, c’est-à-dire des situations offrant les mêmes suites de mouvements possibles.

Ces tests vont plus loin que le simple taux de bonnes réponses. Un modèle peut sélectionner un coup permis ou produire une direction valable tout en ayant atteint ce résultat par des associations locales qui ne forment pas une représentation globale et stable. La distinction et la compression cherchent à mesurer cette cohérence interne à travers le comportement observé du système.

Des décisions aléatoires parfois plus utiles pour construire un modèle du monde

L’un des résultats les plus surprenants concerne les données utilisées pour l’entraînement. Dans les expériences rapportées, les modèles entraînés avec des décisions aléatoires semblaient développer des représentations plus précises du monde étudié. Cette observation peut s’expliquer par la diversité des situations rencontrées pendant la formation.

Un système qui suit toujours les mêmes stratégies ou les chemins les plus probables voit surtout une partie limitée de l’environnement. À l’inverse, l’exploration de séquences variées le confronte à davantage d’états, de transitions et de cas limites. Il peut alors mieux apprendre ce qui distingue réellement les situations les unes des autres.

Cela ne signifie pas que l’aléatoire est une solution suffisante, ni que les modèles entraînés de cette manière deviennent soudain capables de comprendre le monde au sens humain. Le résultat rappelle surtout que la nature des données compte autant que leur volume. Une immense collection de séquences répétitives ou fortement orientées peut masquer des zones entières d’un problème.

Une limite qui concerne les usages à fort enjeu

Dans une conversation ordinaire, une erreur de cohérence peut n’être qu’une approximation gênante. L’utilisateur peut demander une précision, comparer avec une autre source ou corriger le contexte. Dans d’autres situations, les conséquences peuvent être plus sérieuses.

La difficulté surgit dès qu’un outil génératif est invité à agir ou à conseiller dans un environnement où les détails comptent : règles administratives, décisions juridiques, diagnostic médical, planification logistique, analyse financière, maintenance industrielle ou assistance à la conduite. Dans ces domaines, il ne suffit pas qu’une réponse ressemble à une expertise. Elle doit rester correcte quand les circonstances changent, quand une exception s’applique et quand plusieurs informations doivent être reliées sans contradiction.

Le risque n’est pas uniquement une réponse erronée isolée. C’est aussi la confiance excessive que peut inspirer une formulation nette et assurée. Les modèles génératifs sont particulièrement convaincants parce qu’ils produisent du langage naturel. Or la fluidité stylistique peut donner l’impression d’un raisonnement solide alors que le système a assemblé des éléments plausibles sans vérifier leur compatibilité avec le réel.

Concrètement, une utilisation responsable implique de contrôler les affirmations importantes, de fournir au système les informations les plus à jour possible et de maintenir une validation humaine. Pour les tâches où un résultat doit être vérifiable, il est préférable de s’appuyer sur des bases de données, des cartes, des règles explicites ou des outils spécialisés, plutôt que sur la seule génération de texte.

Ce que cette recherche change dans l’évaluation des IA

Les démonstrations spectaculaires de modèles génératifs reposent souvent sur des exemples uniques : une question correctement résolue, une image impressionnante, un code fonctionnel ou un itinéraire cohérent. Ces exemples conservent leur intérêt, mais ils ne suffisent pas à mesurer la robustesse d’un système.

L’étude invite à tester les modèles autrement. Plutôt que de demander seulement s’ils produisent une bonne réponse dans un cadre stable, il faut observer ce qui se passe lorsqu’on modifie une règle, qu’on retire une possibilité, qu’on introduit une contrainte ou qu’on présente une situation équivalente sous une autre forme. Un modèle disposant d’une représentation cohérente devrait conserver une logique compatible avec ces changements.

Cette approche est particulièrement utile pour les applications scientifiques et pratiques, où une IA doit composer avec des connaissances partielles et des conditions variables. Les deux métriques proposées, distinction et compression de séquence, fournissent des pistes pour examiner cette capacité. Elles ne constituent pas à elles seules un label de fiabilité universel, mais elles déplacent l’attention vers un enjeu décisif : la cohérence des représentations plutôt que la seule élégance des sorties produites.

Les travaux ont reçu des financements comprenant le Harvard Data Science Initiative, le National Science Foundation Graduate Research Fellowship et d’autres collaborations universitaires. Ils s’inscrivent dans un effort plus vaste pour déterminer ce que les modèles de langage apprennent réellement à partir des données.

Ce qu’il faut surveiller

La question n’est pas de savoir si les IA génératives sont capables de résultats utiles, elles en produisent déjà de nombreux. L’enjeu est de déterminer dans quelles conditions ces résultats restent fiables lorsque le cadre change. Les prochains progrès devront donc être jugés non seulement à l’aune de réponses brillantes, mais aussi de leur capacité à préserver les règles d’un environnement et à signaler leurs incertitudes.

Pour les concepteurs, cela suppose de diversifier les données et les scénarios d’évaluation, notamment avec des situations imprévues. Pour les organisations qui déploient ces outils, cela suppose de réserver l’automatisation complète aux tâches dont les erreurs sont contrôlables et de prévoir des mécanismes de vérification. Pour les utilisateurs, la règle demeure simple : une réponse convaincante mérite parfois d’être contrôlée avec d’autant plus d’attention qu’elle paraît évidente.

Les modèles génératifs ont ouvert des possibilités remarquables. Mais la fluidité de leurs productions ne doit pas faire oublier le problème mis en lumière par cette recherche : simuler de façon crédible une connaissance du monde est différent de disposer d’une représentation cohérente de ce monde.