Les modèles de langage comprennent-ils le monde ou prédisent-ils seulement ?

Les modèles de langage avancés donnent parfois l’impression de raisonner comme un interlocuteur instruit. Ils peuvent expliquer une notion de physique, résumer un article médical ou proposer une hypothèse sur la structure d’une molécule. Pourtant, produire une réponse plausible et comprendre les règles qui organisent le monde réel ne sont pas nécessairement la même chose. C’est cette frontière, décisive pour l’avenir de l’intelligence artificielle scientifique, qu’examine une étude menée par des chercheurs du MIT et de Harvard.

À la date de publication de cet article, le 25 août 2025, les grands modèles de langage sont déjà employés ou étudiés dans de nombreux domaines où la capacité de généraliser est essentielle. Leurs progrès sont indéniables, mais l’étude rappelle une précaution fondamentale : un système peut réussir des prédictions dans les situations proches de son entraînement sans pour autant avoir acquis une représentation cohérente des causes, des objets et des lois en jeu.

Ce que les chercheurs entendent par « comprendre le monde »

La question n’est pas de savoir si une IA possède une conscience, des émotions ou une expérience vécue comparable à celle d’un humain. Ce ne sont pas les objets de cette évaluation. Les chercheurs s’intéressent à un sens plus opérationnel de la compréhension : un système a-t-il appris des principes suffisamment solides pour les réutiliser dans des situations nouvelles ?

Cette capacité porte un nom central en apprentissage automatique : la généralisation. Un modèle généralise lorsqu’il ne se contente pas de répéter, ou de recombiner, les régularités observées dans ses exemples. Il doit pouvoir tirer parti de ce qu’il a appris pour traiter un cas différent, y compris lorsque les données ne lui fournissent pas directement la réponse.

Pour évaluer cela, l’équipe a élaboré une approche destinée à tester les modèles sur leur faculté à passer d’un domaine ou d’une configuration à un autre. L’enjeu est considérable. Dans une conversation ordinaire, une réponse correcte peut suffire. En revanche, dans les sciences, l’intérêt d’une théorie ou d’un modèle est précisément de fonctionner au-delà des cas déjà connus.

Pourquoi prédire un texte ne prouve pas une compréhension

Les modèles de langage sont entraînés à repérer des structures dans d’immenses ensembles de données et à produire la suite la plus probable dans un contexte donné. Ce principe leur permet d’associer des mots, des idées, des explications et parfois des connaissances factuelles avec une efficacité remarquable. Il ne garantit toutefois pas que le système dispose d’un modèle interne stable des mécanismes décrits.

La nuance est importante. Une personne peut apprendre qu’un certain phénomène est souvent suivi d’un autre et faire une prédiction correcte. Mais elle peut aussi avoir compris le mécanisme qui les relie, ce qui lui permet d’anticiper des cas inédits. Les deux compétences coïncident souvent dans la vie courante, mais elles peuvent diverger dans une évaluation scientifique.

Les travaux du MIT et de Harvard mettent précisément en évidence cette divergence potentielle. Les modèles étudiés peuvent fournir de bons résultats lorsqu’il s’agit de représenter des espaces simples. À mesure que la situation comporte davantage d’éléments ou de relations, leurs performances se dégradent. Autrement dit, l’apparence d’une bonne prédiction ne suffit pas à établir que l’IA a dégagé une règle générale applicable au monde réel.

Cette limite ne rend pas les modèles inutiles. Elle invite plutôt à choisir avec soin ce que l’on attend d’eux. Un assistant peut être performant pour explorer des pistes, reformuler des connaissances ou accélérer certaines étapes de recherche, tout en étant moins fiable lorsqu’il doit extrapoler un mécanisme complexe hors de son cadre familier.

De Kepler à Newton, deux façons de décrire la réalité

Pour éclairer cette différence, les chercheurs mobilisent une analogie historique. Johannes Kepler a établi des lois permettant de prédire le mouvement des planètes. Ces lois décrivent avec précision certaines régularités observées dans les orbites. Isaac Newton, lui, a formulé un cadre universel de la gravitation, susceptible de s’appliquer à une gamme bien plus vaste de phénomènes.

L’intérêt de cette comparaison ne consiste pas à opposer deux savants, ni à suggérer que les modèles actuels se situeraient au niveau de l’un ou de l’autre. Elle sert à distinguer deux formes de réussite : prédire correctement un ensemble de cas et disposer d’un principe qui s’étend à des situations éloignées de l’observation initiale.

Les lois de Newton ont ainsi permis de relier des phénomènes aussi différents que le mouvement des planètes, la trajectoire d’un obus ou les marées. Selon Vafa, l’un des principaux auteurs de l’étude, les modèles modernes ne démontrent pas encore une capacité comparable de généralisation.

L’inductive bias, une métrique pour tester la généralisation

L’équipe propose une métrique baptisée inductive bias. L’expression désigne, dans le domaine de l’apprentissage automatique, les hypothèses ou préférences qui orientent un système lorsqu’il doit tirer une règle générale à partir d’un nombre limité d’exemples. Ce choix est inévitable : face à des données incomplètes, un modèle doit privilégier certaines explications plutôt que toutes les autres possibilités imaginables.

Dans cette étude, la métrique sert à évaluer quantitativement dans quelle mesure les prédictions d’un système sont conformes aux vérités du monde réel. L’objectif n’est donc pas seulement de comptabiliser les bonnes réponses. Il est de vérifier si le modèle semble s’appuyer sur une structure suffisamment cohérente pour rester pertinente dans des exemples variés et de difficulté croissante.

Les chercheurs ont appliqué leur méthode à plusieurs configurations. Ils observent des écarts significatifs entre les prédictions des modèles et la réalité à mesure que les problèmes deviennent plus complexes. La progression mise en évidence peut se résumer ainsi :

Cette démarche est utile parce qu’elle déplace le débat. Plutôt que de s’en remettre à l’impression produite par une réponse très fluide, elle propose de soumettre les systèmes à des tests structurés. Un modèle peut donner l’illusion d’une explication convaincante tout en échouant à maintenir cette logique lorsque l’on modifie les conditions du problème.

Une bonne réponse peut-elle masquer une limite de raisonnement ?

Oui, et c’est l’un des messages les plus importants de ces travaux. Les modèles de langage excellent souvent à produire des formulations cohérentes, car ils ont appris les façons dont les humains présentent des explications, des démonstrations ou des résultats. Cette maîtrise de la forme peut rendre difficile l’évaluation de la profondeur de leur représentation.

L’étude ne soutient pas que tout résultat généré par un modèle est dénué de valeur. Elle montre plutôt que la réussite sur des tâches de prévision n’autorise pas, à elle seule, à conclure que le modèle comprend les mécanismes sous-jacents. Entre reconnaître une régularité et en saisir la portée générale, il existe une différence que les évaluations traditionnelles ne mesurent pas toujours.

Cette distinction compte particulièrement lorsque les conséquences d’une erreur sont importantes. Dans les situations complexes, un système peut rencontrer des variables, des relations ou des contraintes qui n’étaient pas suffisamment représentées dans son entraînement. Sans principe généralisable, il risque alors de s’éloigner de la réalité tout en conservant un ton assuré.

Des applications scientifiques déjà concrètes, mais à encadrer

Les systèmes prédictifs sont déjà mobilisés dans des champs scientifiques. L’article cite notamment l’identification de propriétés de composés chimiques et l’étude du repliement des protéines, c’est-à-dire la manière dont une chaîne d’acides aminés adopte une structure tridimensionnelle. Ces usages illustrent l’intérêt considérable de l’IA pour explorer rapidement des espaces de possibilités trop vastes pour être parcourus manuellement.

Dans ces domaines, une prédiction pertinente peut orienter le travail des scientifiques, suggérer une piste ou aider à prioriser des expériences. Mais la recherche du MIT et de Harvard souligne que la performance doit être interprétée selon le type de problème. Un modèle qui réussit dans une famille de données donnée ne prouve pas automatiquement qu’il saura transférer ses acquis vers toutes les situations voisines.

La validation expérimentale et l’expertise humaine gardent donc une place centrale. L’IA peut accélérer la formulation d’hypothèses, l’analyse d’informations et la recherche de configurations prometteuses. Elle ne dispense pas de vérifier qu’une proposition respecte effectivement les lois physiques, biologiques ou chimiques du domaine concerné.

Les auteurs voient dans leur métrique une piste pour développer des modèles fondamentaux plus adaptés à des spécialités comme la biologie ou la physique. Ces modèles, entraînés et évalués en fonction des contraintes propres à un champ scientifique, pourraient mieux apprendre des structures pertinentes que des systèmes généralistes confrontés à des données très hétérogènes.

Faut-il comparer l’IA à l’intuition humaine ?

Les modèles de langage n’ont pas d’expérience sensorielle ou sociale du quotidien. Ils ne manipulent pas directement les objets et ne vivent pas les conséquences de leurs décisions comme le font les humains. Cette absence d’expérience vécue alimente naturellement la question de leur compréhension du réel.

Cependant, l’étude ne pose pas l’intuition humaine comme un seuil absolu qu’une machine devrait imiter. Elle privilégie une interrogation plus vérifiable : les représentations apprises permettent-elles de généraliser correctement ? Cette approche évite de réduire le débat à des impressions sur le caractère « intelligent » d’une réponse.

L’humain lui-même peut commettre des erreurs de raisonnement, tout comme il peut transférer des connaissances d’un contexte à l’autre grâce à des principes abstraits. Le défi pour l’IA consiste à progresser sur ce second point : ne pas seulement associer des éléments qui apparaissent souvent ensemble, mais découvrir des structures capables d’éclairer des situations nouvelles.

Ce qu’il faut surveiller

Cette recherche ouvre surtout une voie pour mieux évaluer les modèles. Les futurs progrès ne se mesureront pas uniquement à la taille des systèmes, à la fluidité de leurs réponses ou à leurs scores sur des questions déjà balisées. Il faudra également observer leur comportement lorsque les problèmes changent de forme, gagnent en complexité ou exigent de relier plusieurs phénomènes.

Trois questions seront particulièrement importantes. Les nouvelles méthodes d’entraînement permettront-elles d’améliorer la généralisation ? La métrique proposée donnera-t-elle des résultats comparables sur des modèles variés ? Et les modèles spécialisés par domaine parviendront-ils à respecter plus fidèlement les contraintes du monde physique, biologique ou chimique ?

À ce stade, les résultats invitent à une forme de prudence méthodique. Les modèles de langage avancés sont capables de performances impressionnantes et peuvent devenir des outils précieux pour la recherche. Mais l’écart mis en lumière entre prédire et comprendre rappelle qu’une réponse convaincante ne constitue pas encore une preuve de compréhension profonde du monde réel.