GPT-4 rivalise avec l’humain dans certains tests de raisonnement analogique

Un modèle de langage peut-il faire davantage que compléter une phrase de manière plausible ? Une étude publiée dans PNAS Nexus apporte un élément concret au débat. En soumettant GPT-4 à des problèmes d’analogies conçus pour être inédits et contre-factuels, des chercheurs, dont Taylor W. Webb, ont observé que le modèle pouvait, dans certaines conditions, atteindre un niveau de performance comparable à celui d’humains.

Le résultat est important parce que le raisonnement analogique ne consiste pas seulement à repérer des mots fréquemment associés. Il demande d’identifier une relation, puis de la transposer à une nouvelle situation. C’est par analogie que l’on peut comprendre, par exemple, qu’une règle apprise dans un jeu s’applique à une variante inconnue, ou qu’une structure mathématique éclaire un problème présenté autrement.

L’étude ne permet pas d’affirmer que GPT-4 pense comme une personne. Elle fournit en revanche des observations plus précises sur ce que peut faire un grand modèle de langage lorsqu’il est confronté à des relations abstraites, y compris lorsqu’il ne peut pas simplement s’appuyer sur des connaissances familières.

Le raisonnement analogique, une épreuve de flexibilité

Une analogie établit une correspondance entre deux relations. Dans la forme la plus simple, on l’écrit ainsi : A est à B ce que C est à D. Trouver D exige de comprendre le lien entre A et B, puis de conserver ce lien en changeant d’objet.

Dans la vie courante, ce mécanisme est partout. Un médecin peut rapprocher des symptômes de cas connus, un élève peut transférer une règle de grammaire à une nouvelle phrase, un ingénieur peut adapter une solution technique d’un secteur à un autre. La difficulté ne réside pas dans la seule restitution d’un fait : il faut conserver une structure relationnelle tout en faisant abstraction des détails superficiels.

Pour les spécialistes de la cognition, cette faculté est souvent considérée comme un marqueur important du raisonnement flexible. Pour les modèles de langage, elle constitue aussi un test exigeant. Ces systèmes sont entraînés à prédire des suites de mots ou de symboles à partir de très grandes quantités de textes. Ils peuvent donc produire une réponse juste en reconnaissant des régularités statistiques, sans que l’on sache immédiatement s’ils ont appliqué une règle abstraite ou s’ils ont retrouvé un motif déjà rencontré.

C’est précisément ce doute que l’équipe a cherché à réduire. Au lieu de se limiter à des questions proches de contenus disponibles en ligne, elle a étudié des problèmes dans lesquels les règles et les objets sont fabriqués pour l’expérience.

Pourquoi utiliser un alphabet fictif ?

L’un des défis étudiés repose sur un alphabet fictif. À première vue, l’exercice peut sembler élémentaire : déterminer quelles lettres suivent d’autres lettres dans une séquence inventée, puis appliquer cette règle à une analogie. Mais cette simplicité apparente en fait un test révélateur.

Dans un alphabet connu, GPT-4 peut bénéficier de nombreuses associations présentes dans les textes sur lesquels il a été entraîné. Avec des symboles ou une séquence contrefactuelle, cette aide devient beaucoup moins utile. Le modèle doit traiter les informations fournies dans l’énoncé, construire une représentation de leurs relations et appliquer correctement la transformation demandée.

Le comptage précis est particulièrement intéressant. Les modèles de langage ont longtemps montré des fragilités lorsqu’une réponse dépend de manipulations symboliques exactes, par exemple compter des caractères, suivre des étapes dans le bon ordre ou respecter une séquence longue. Ils peuvent donner une explication convaincante tout en se trompant sur un détail simple mais décisif.

Les chercheurs ont donc évalué GPT-4 sur des analogies de chaînes de lettres demandant ce type d’opérations. Le modèle ne devait pas seulement proposer une lettre qui « semble » compatible : il devait identifier une relation de position et l’appliquer avec rigueur à un autre élément.

GPT-4 atteint des résultats comparables à ceux d’humains sur certains exercices

Selon l’étude, GPT-4 a atteint des performances humaines sur certaines tâches de raisonnement analogique. Sur les problèmes les plus complexes, le modèle a notamment pu résoudre avec précision des analogies de chaînes de lettres.

Un point compte dans l’interprétation de ce résultat : GPT-4 a pu écrire et exécuter du code pour évaluer les éléments du problème. Cette possibilité l’aide à réaliser des comptages et à vérifier systématiquement une séquence. Plutôt que de s’en remettre à une estimation produite mot après mot, il peut transformer une partie de l’énoncé en procédure.

Cela ne retire pas tout intérêt à la démonstration. Décider qu’un outil de calcul ou un petit programme est utile, formaliser la règle puis interpréter le résultat font eux aussi partie d’une démarche de résolution. Mais il faut être précis sur ce qui est évalué : le résultat concerne GPT-4 dans une configuration pouvant mobiliser du code, et non une faculté infaillible que le modèle manifesterait seul dans n’importe quelle conversation.

L’étude suggère ainsi que les modèles de langage peuvent combiner leur maîtrise du langage avec des opérations plus structurées. Dans les problèmes étudiés, GPT-4 a été capable de justifier que certaines lettres devaient en suivre d’autres, conformément à la règle établie par l’énoncé.

Ce que l’étude montre, et ce qu’elle ne permet pas de conclure

La formule « performances humaines » doit être lue avec soin. Elle ne signifie pas que GPT-4 égale l’ensemble des capacités intellectuelles humaines, ni qu’il résout tous les problèmes analogiques avec la même fiabilité qu’une personne. Elle signifie que, pour les tâches et les conditions examinées, ses résultats se situaient au niveau observé chez des participants humains.

Cette nuance est essentielle. Un modèle peut réussir brillamment une famille d’énigmes et échouer face à une variante de présentation, une instruction ambiguë ou une information manquante. Ses explications peuvent également être bien formulées sans décrire fidèlement le processus ayant conduit à la réponse. La fluidité verbale ne doit donc jamais être confondue automatiquement avec une preuve de compréhension.

Les auteurs mettent en avant l’idée d’opérations structurées et de représentations relationnelles émergentes. En termes simples, les résultats sont compatibles avec le fait que le système parvient parfois à manipuler des relations abstraites plutôt qu’à seulement répéter des réponses apprises. C’est une piste de recherche forte, non un verdict définitif sur la nature de l’intelligence des machines.

Imitation, raisonnement et compréhension : pourquoi le débat reste ouvert

Les grands modèles de langage sont souvent décrits à travers une opposition simple : ils imiteraient le langage humain, ou ils raisonneraient réellement. Dans la pratique scientifique, la frontière est moins nette. Un système peut exploiter des régularités apprises très complexes et produire des comportements qui ressemblent à un raisonnement, sans que cela permette de trancher toutes les questions philosophiques sur sa compréhension.

L’intérêt des tests contre-factuels est de déplacer la discussion vers des mesures observables. Si un modèle reçoit une règle inventée, applique cette règle à des cas nouveaux et maintient sa performance malgré des changements de surface, cela constitue un élément en faveur de capacités de généralisation. À l’inverse, des erreurs systématiques dès que l’énoncé varie indiquent que la réussite dépend peut-être trop étroitement de la forme des exemples.

La comparaison avec l’humain demande elle aussi de la prudence. Les personnes ne résolvent pas toutes les énigmes avec la même stratégie. Certaines comptent mentalement, d’autres dessinent une séquence ou écrivent des notes. Un modèle qui recourt à du code utilise une forme d’assistance externe. L’enjeu n’est pas d’imposer une définition unique de l’intelligence, mais de documenter clairement les conditions qui permettent une réussite.

Quelles applications peut-on envisager ?

Une meilleure capacité à identifier des relations pourrait renforcer l’utilité des assistants d’IA dans des tâches où il faut faire le lien entre une règle et un cas concret. L’éducation, la programmation, l’analyse de données ou la résolution de problèmes structurés sont souvent cités parmi les domaines concernés.

Dans l’éducation, un outil capable de repérer l’analogie entre deux exercices pourrait aider à expliquer pourquoi une méthode s’applique à une question nouvelle. En développement logiciel, la capacité à transposer une structure d’un exemple de code à un autre peut faciliter l’assistance au débogage ou à la conception d’algorithmes. Dans l’analyse de données, elle peut contribuer à formuler des hypothèses sur des relations à vérifier.

Ces pistes ne dispensent toutefois pas de validation. Dans des secteurs où une erreur a des conséquences importantes, une réponse produite par un modèle doit être contrôlée par une personne compétente. Les tâches d’analogies étudiées sont délimitées, avec des règles explicites et une réponse identifiable. Le monde réel est généralement plus ambigu : les données peuvent être incomplètes, les objectifs contradictoires et les critères de réussite discutables.

Ce qu’il faut surveiller

Les travaux sur le raisonnement analogique vont désormais devoir répondre à une question de robustesse. Les performances de GPT-4 se maintiennent-elles lorsque les problèmes sont reformulés, lorsque les règles deviennent plus longues ou lorsque le modèle n’a pas accès à un outil de code ? La comparaison avec d’autres modèles, d’autres groupes de participants et d’autres familles d’analogies sera tout aussi importante.

Il faudra aussi distinguer deux progrès qui se renforcent mais ne se confondent pas : l’amélioration du modèle lui-même, et l’amélioration de son environnement de travail. Un assistant capable de consulter des documents, d’écrire du code et de vérifier ses calculs peut résoudre davantage de problèmes. Pour évaluer ses capacités de manière honnête, les études devront indiquer précisément quels outils étaient disponibles et comment ils ont été utilisés.

À la date de publication de l’étude, le constat est donc solide mais circonscrit : GPT-4 peut rivaliser avec des humains sur certains tests analogiques soigneusement construits, y compris lorsqu’ils reposent sur des éléments fictifs. C’est un résultat significatif pour la recherche sur les modèles de langage. Il invite à affiner les tests, à examiner les échecs et à éviter deux écueils opposés : réduire ces systèmes à de simples perroquets statistiques, ou leur attribuer trop vite une compréhension comparable à celle d’un humain.