Les modèles de langage comprennent-ils le réel ? Le test du biais inductif

Prédire le prochain mot d’une phrase, le coup légal dans une partie ou le résultat probable d’un phénomène ne suffit pas à prouver qu’une intelligence artificielle en comprend les mécanismes. C’est le cœur d’une question devenue essentielle à mesure que les grands modèles de langage prennent place dans la recherche, l’industrie et les usages quotidiens : ces systèmes reconnaissent-ils des régularités dans leurs données, ou bâtissent-ils des représentations assez solides pour raisonner sur des situations inédites ?

Des chercheurs du MIT et de l’Université Harvard proposent une nouvelle manière d’aborder cette interrogation. Leur méthode s’intéresse au biais inductif, ou inductive bias, c’est-à-dire à la manière dont un système tire des règles générales à partir d’exemples. L’objectif n’est pas simplement de classer les modèles entre bons et mauvais prédicteurs. Il est d’évaluer si leurs prédictions semblent reposer sur une structure du monde qui reste valable lorsque le contexte change.

Prédire n’est pas forcément comprendre

Les grands modèles de langage sont entraînés à repérer des motifs dans de très grands ensembles de données. Dans une conversation, ils estiment quelle suite de mots est la plus appropriée compte tenu du contexte. Dans d’autres tâches, des modèles prédictifs peuvent estimer une valeur, choisir une action ou anticiper un résultat à partir de nombreux exemples passés.

Cette aptitude produit parfois des réponses remarquablement pertinentes. Mais une prédiction exacte peut avoir plusieurs origines. Un système peut avoir appris une corrélation très fréquente dans ses données d’entraînement, sans avoir identifié la règle plus générale qui explique cette corrélation. Cette distinction devient cruciale dès qu’il rencontre un cas rare, une configuration nouvelle ou un environnement plus complexe.

Dans le langage courant, on parlerait de compréhension. En recherche, le terme doit toutefois être manié avec précision. Il ne s’agit pas de déterminer si une machine possède une expérience subjective du monde. La question est opérationnelle : le modèle a-t-il acquis des représentations qui lui permettent de généraliser, c’est-à-dire d’appliquer une règle pertinente au-delà des données qu’il a déjà vues ?

Cette nuance explique les limites des évaluations traditionnelles. Un benchmark mesure généralement la proportion de bonnes réponses dans un cadre défini. C’est utile pour comparer des systèmes, mais cela ne révèle pas automatiquement pourquoi ils ont réussi, ni comment ils réagiront lorsque les règles implicites de la tâche deviendront plus difficiles à inférer.

De Kepler à Newton, deux niveaux d’explication

Pour rendre cette différence plus intuitive, les chercheurs mobilisent une comparaison historique entre Johannes Kepler et Isaac Newton. Les lois de Kepler décrivaient avec succès le mouvement des planètes et permettaient d’en prédire les positions. Elles constituaient donc un outil prédictif très efficace.

Newton a apporté un cadre plus général avec ses idées sur la gravitation. Ce cadre n’était pas seulement une recette pour retrouver des trajectoires connues : il proposait un principe susceptible d’expliquer un ensemble plus large de phénomènes. L’analogie ne signifie évidemment pas qu’un modèle d’IA devrait reproduire l’œuvre de Newton. Elle sert à distinguer deux ambitions scientifiques : prévoir correctement des observations et identifier les mécanismes ou structures qui permettent de prévoir dans des contextes variés.

Appliquée à l’intelligence artificielle, la question est donc la suivante : un modèle qui réussit très bien une tâche possède-t-il seulement une bonne capacité d’ajustement aux données disponibles, ou a-t-il construit une représentation qui survivra à une modification du problème ?

Qu’est-ce que le biais inductif ?

Le biais inductif désigne les préférences, hypothèses ou contraintes qui guident un système lorsqu’il doit passer d’exemples particuliers à une règle générale. Aucune machine, pas plus qu’aucun humain, ne peut déduire toutes les règles possibles à partir d’un nombre fini d’observations. Elle doit donc privilégier certaines explications plutôt que d’autres.

Dans le cas d’un modèle d’IA, ce biais peut venir de son architecture, de son mode d’entraînement, de la manière dont les données sont présentées ou des objectifs fixés pendant l’apprentissage. Il ne s’agit pas forcément d’un défaut. Au contraire, un biais inductif approprié aide le modèle à apprendre efficacement. Le défi consiste à déterminer si ce biais l’oriente vers des structures qui correspondent réellement au problème traité.

La mesure proposée par l’équipe du MIT et de Harvard cherche précisément à quantifier dans quelle mesure les prédictions d’un modèle reposent sur des instances de données nombreuses et variées. Elle vise à vérifier l’alignement entre les performances du système et la réalité ou, dans le cadre des expériences, avec la structure de l’environnement simulé.

Cette approche déplace légèrement le regard. Au lieu de demander seulement : « Le modèle a-t-il donné la bonne réponse ? », elle invite à poser une série de questions plus exigeantes : quels éléments a-t-il retenus ? Quelle règle semble-t-il avoir apprise ? Cette règle fonctionne-t-elle encore si l’on modifie la configuration, tout en conservant les principes fondamentaux de l’environnement ?

Ce que révèle l’exemple du jeu Othello

Pour mettre ces idées à l’épreuve, les chercheurs ont testé différents systèmes d’IA dans des environnements simulés. Les résultats rapportés montrent que même des modèles simples peuvent parvenir à créer des représentations réalistes lorsque l’environnement reste relativement élémentaire. C’est un résultat important : une capacité de représentation ne suppose pas nécessairement un système d’une taille extrême.

La situation se complique lorsque la tâche gagne en richesse. Les performances des systèmes se détériorent alors rapidement. Le jeu Othello constitue un exemple révélateur. Dans ce jeu de plateau, connaître les coups autorisés exige de prendre en compte la position des pièces, les lignes qu’elles forment et les retournements possibles.

Les modèles évalués peuvent prédire efficacement des mouvements permis. Cette réussite ne garantit pourtant pas qu’ils saisissent l’organisation globale du plateau. Selon les résultats évoqués, leur capacité à représenter correctement l’arrangement général des pièces reste insuffisante lorsque la complexité de la situation augmente.

Le cas d’Othello est particulièrement utile parce qu’il sépare deux compétences qui peuvent sembler identiques à première vue : reconnaître qu’un coup est valide dans une configuration rencontrée ou proche d’une configuration rencontrée, et maintenir une représentation cohérente de l’état complet du jeu. Dans des applications réelles, cette seconde compétence pourrait compter lorsque les décisions dépendent de nombreuses relations interdépendantes.

Pourquoi cette évaluation compte au-delà des jeux

Les systèmes d’IA sont de plus en plus sollicités pour assister des travaux qui ne se réduisent pas à une réponse textuelle isolée. En sciences naturelles, ils peuvent être utilisés pour prédire des propriétés de composés chimiques, explorer des structures ou proposer des pistes dans la recherche de médicaments. Dans ces domaines, une erreur de généralisation peut rendre une suggestion inutilisable ou orienter les efforts vers une mauvaise hypothèse.

L’intérêt de la méthode est donc de fournir un socle d’évaluation pour les modèles prédictifs actuels. Si l’on identifie les circonstances dans lesquelles un système s’appuie sur une représentation robuste, il devient possible d’ajuster son entraînement et son architecture avec un objectif plus précis que l’amélioration d’un score moyen.

Cela ne signifie pas qu’un modèle doté d’un bon biais inductif serait automatiquement fiable dans tous les contextes. La qualité et la diversité des données, les conditions réelles d’utilisation, les objectifs choisis et les procédures de vérification humaine restent déterminants. En revanche, cette mesure peut aider les chercheurs à localiser une faiblesse fondamentale : le modèle réussit-il parce qu’il a appris une règle transférable, ou parce que le test ressemble trop aux exemples dont il dispose déjà ?

Des limites qu’il faut regarder en face

La notion même de compréhension reste difficile à transformer en critère universel. Un modèle peut généraliser sur une famille de tâches et échouer sur une autre. Une représentation utile pour un jeu de plateau ne suffit pas à démontrer une compréhension de phénomènes biologiques, physiques ou sociaux, qui sont plus ouverts et plus incertains.

L’observation faite dans les environnements simulés appelle donc à la prudence. Les chercheurs constatent une dégradation rapide à mesure que la complexité s’accroît. Cette limite rappelle que les performances impressionnantes des grands modèles de langage ne doivent pas être interprétées comme la preuve automatique d’un modèle du monde complet et cohérent.

Elle souligne aussi une difficulté pratique : tester la généralisation suppose de concevoir des situations réellement nouvelles, sans introduire involontairement des indices que le système peut exploiter. Les benchmarks doivent être suffisamment contrôlés pour analyser le raisonnement du modèle, mais assez exigeants pour ne pas récompenser une simple mémorisation de régularités superficielles.

Ce qu’il faut surveiller

La piste ouverte par le biais inductif intéressera particulièrement les équipes qui cherchent à améliorer les IA destinées à la chimie, à la biologie, à la simulation ou à l’étude de systèmes complexes. Dans ces domaines, l’objectif n’est pas uniquement de retrouver des réponses déjà connues, mais de proposer des hypothèses solides dans des zones encore peu explorées.

Les prochaines étapes consisteront à préciser les paramètres d’évaluation, à comparer les comportements de modèles variés et à observer comment leurs représentations évoluent lorsque les données et les tâches deviennent plus difficiles. Il faudra aussi déterminer quelles méthodes d’entraînement favorisent des modèles plus précis sans les enfermer dans des raccourcis propres à un jeu de données particulier.

À plus long terme, cette recherche pose une question structurante pour l’IA : faut-il augmenter toujours davantage la capacité de prédiction, ou développer des évaluations capables de vérifier la qualité des représentations internes ? Les deux voies ne s’excluent pas. Mais si les systèmes doivent contribuer à la découverte scientifique et à des décisions complexes, leur aptitude à généraliser au-delà de ce qu’ils ont vu sera aussi importante que leur capacité à produire une réponse plausible.