Humains et ChatGPT : une étude observe des choix syntaxiques étonnamment proches

Lorsqu’on demande à une personne de raccourcir une phrase, elle ne retire généralement pas les mots au hasard. Elle a tendance à enlever un groupe qui « tient ensemble » sur le plan grammatical, par exemple un complément entier ou une proposition. Une étude menée à l’Université de Zhejiang suggère que ChatGPT adopte souvent le même type de choix. Publiée dans Nature Human Behaviour, elle met en évidence une convergence frappante entre les réponses de participants humains et celles d’un grand modèle de langage dans une tâche de suppression de mots.

Le résultat mérite d’être pris au sérieux, mais aussi d’être interprété avec précision. Il ne démontre pas qu’une intelligence artificielle comprend une phrase comme un humain, ni qu’elle possède un cerveau artificiel organisé de la même manière. Il montre plus exactement que, placés devant un même problème linguistique, des humains et ChatGPT produisent des réponses compatibles avec une organisation syntaxique similaire des phrases.

Une expérience pour observer la structure cachée des phrases

Les chercheurs ont conçu une tâche volontairement simple en apparence : retirer des mots d’une phrase. Son intérêt tient à ce qu’elle oblige à révéler implicitement la manière dont une phrase est découpée mentalement.

Au cours de chaque essai, les participants voyaient une unique démonstration. Cet exemple indiquait qu’une phrase donnée avait été raccourcie en supprimant certains mots. À partir de ce seul cas, ils devaient déduire la règle employée et l’appliquer à une nouvelle phrase. ChatGPT a été soumis au même principe expérimental.

L’étude a réuni 372 participants humains, locuteurs natifs du chinois ou de l’anglais, ainsi que des personnes bilingues. Ce choix de langues est important : le chinois et l’anglais n’organisent pas les phrases de manière identique. Si une même tendance se retrouve dans plusieurs langues, elle est moins susceptible de n’être qu’un effet de vocabulaire ou de formulation propre à un idiome.

La recherche rapporte aussi une comparaison de performances portant sur 30 sujets humains et 300 essais réalisés par ChatGPT. L’objectif n’était pas de mesurer une culture générale, ni de demander au modèle d’expliquer des règles de grammaire. Il s’agissait d’observer ses décisions effectives lorsqu’il doit généraliser une transformation linguistique à partir d’un seul exemple.

Qu’est-ce qu’un constituant en grammaire ?

Pour comprendre le résultat, il faut distinguer une simple suite de mots d’un constituant. En linguistique, un constituant est un ensemble de mots qui fonctionne comme une unité dans la phrase. Il peut s’agir d’un groupe nominal, d’un groupe verbal, d’un complément ou d’une proposition.

Prenons une formulation simple : « La chercheuse analyse les résultats dans son laboratoire. » Le groupe « dans son laboratoire » constitue une unité grammaticale. Le retirer laisse une phrase bien formée : « La chercheuse analyse les résultats. » En revanche, enlever une suite qui coupe arbitrairement l’intérieur d’un groupe peut produire une phrase incomplète ou étrange.

Les théories syntaxiques décrivent souvent cette organisation sous la forme d’un arbre de constituants. Les mots y sont les éléments visibles, mais ils sont regroupés à différents niveaux, comme les branches d’un arbre : certains mots forment d’abord un petit groupe, puis ce groupe s’assemble avec d’autres pour former une structure plus large.

La tâche mise au point par l’équipe de Zhejiang sert précisément à tester cette intuition. Si les réponses privilégient régulièrement la suppression de groupes grammaticalement cohérents, plutôt que de fragments découpés au hasard, elles donnent un indice sur la représentation interne de la phrase utilisée pour prendre la décision.

Humains et ChatGPT privilégient des unités grammaticales

Le principal résultat de l’étude est que les participants humains comme ChatGPT tendent à supprimer des constituants. Autrement dit, ils retirent plus volontiers des unités syntaxiques entières que des chaînes de mots qui ne correspondent à aucun groupe grammatical.

Ce comportement est notable parce que la consigne ne demandait pas explicitement d’identifier des sujets, des compléments ou des propositions. Les participants devaient déduire une règle à partir d’une démonstration. ChatGPT, lui, devait générer une réponse cohérente avec l’exemple fourni. Pourtant, les choix observés convergent vers une segmentation compatible avec les analyses linguistiques établies.

Les auteurs en tirent l’idée que des représentations syntaxiques latentes guident les deux types de réponses. Le mot « latentes » désigne ici des structures qui ne sont pas directement affichées dans la phrase ni explicitement données par la consigne, mais qui peuvent être déduites du comportement.

L’étude montre également que les modèles de langage reproduisent une structure syntaxique correspondant à des théories linguistiques reconnues. C’est un point important pour la recherche sur les grands modèles de langage : leurs réponses ne dépendent pas seulement de l’association superficielle entre des mots très fréquents. Dans certaines conditions, elles reflètent une organisation plus structurée des séquences linguistiques.

Pourquoi cette similarité ne fait pas de ChatGPT un cerveau humain

La formule « humains et IA pensent de la même façon » serait trompeuse. L’expérience compare une sortie comportementale, c’est-à-dire les mots que les uns et les autres choisissent de retirer. Elle n’observe ni les neurones d’un cerveau humain, ni l’ensemble des calculs internes du modèle.

Un humain acquiert le langage au cours de son développement, à travers des interactions sociales, des perceptions, des émotions et des situations vécues. Un modèle de langage est entraîné sur de très grandes quantités de textes afin d’apprendre à prédire et à produire des séquences de mots. Ces deux réalités sont profondément différentes.

La similarité observée est donc une similarité de résultat dans une tâche précise. Elle indique que deux systèmes très distincts peuvent converger vers une même solution fonctionnelle lorsqu’ils traitent la structure d’une phrase. Mais elle ne permet pas, à elle seule, de conclure à une identité de compréhension, d’expérience du langage ou de mécanismes cognitifs.

Cette nuance est essentielle, notamment lorsque l’on discute des capacités des grands modèles de langage. Un modèle peut se montrer performant sur une tâche syntaxique sans que l’on puisse en déduire tout ce qu’il sait, ni tout ce qu’il ignore, sur le sens, le contexte ou l’intention d’un énoncé.

Un résultat utile pour la linguistique et la science cognitive

L’intérêt de cette recherche dépasse la comparaison, souvent simpliste, entre humains et machines. Elle propose surtout une méthode expérimentale pour examiner comment une structure linguistique est représentée sans demander directement aux personnes ou au modèle de réciter une règle de grammaire.

Chez les humains, ce type de tâche peut aider à étudier les mécanismes mobilisés quand une personne interprète une phrase, choisit ce qui peut être omis et conserve ce qui est nécessaire au sens grammatical. Chez les modèles de langage, il offre un moyen d’évaluer les représentations internes à partir de leurs réponses, plutôt que de se contenter de noter si la phrase finale semble fluide.

La présence de locuteurs du chinois, de l’anglais et de personnes bilingues ouvre également une piste comparative. Les langues diffèrent par leur ordre des mots, leurs marqueurs grammaticaux et la manière dont elles signalent certaines relations. Observer des choix structurés dans plusieurs langues peut enrichir les travaux sur les propriétés partagées du traitement linguistique.

Cette approche pourrait aussi être utile pour mieux distinguer plusieurs niveaux de performance d’une IA : produire une phrase plausible, appliquer une transformation régulière, respecter une structure grammaticale, ou généraliser une règle à partir d’un exemple. Ces compétences peuvent se recouvrir, mais elles ne sont pas équivalentes.

Ce que l’expérience mesure, et ce qu’elle ne mesure pas

La force de l’étude est son protocole ciblé. En réduisant la tâche à une opération de suppression fondée sur un seul exemple, les chercheurs isolent un aspect précis du traitement de la phrase : le découpage en unités syntaxiques.

Cette précision implique aussi des limites. Une tâche de ce type ne permet pas de trancher toutes les questions liées au langage. Elle ne mesure pas directement l’accès au sens du monde, la compréhension d’une intention implicite, la mémoire d’une conversation longue ou l’usage social de la parole. Elle n’établit pas non plus que le modèle utilise une règle explicitement stockée sous une forme comparable à une grammaire scolaire.

Les résultats doivent donc être lus comme une démonstration de convergence dans un cadre expérimental bien défini. C’est précisément ce qui leur donne de la valeur scientifique : la comparaison porte sur une consigne identique, une réponse observable et une hypothèse clairement testée.

Pour les utilisateurs de chatbots, l’étude rappelle enfin une réalité pratique. Les modèles de langage peuvent manifester une sensibilité solide aux structures de la langue, ce qui contribue à la fluidité de leurs réponses. Mais cette aisance grammaticale ne constitue pas une garantie générale d’exactitude. Une phrase parfaitement structurée peut contenir une information erronée, incomplète ou mal interprétée.

Ce qu’il faut surveiller

Les auteurs encouragent désormais la réalisation de tâches comparables pour explorer plus finement les représentations linguistiques des humains et des modèles de langage. La tâche de suppression de mots développée dans cette étude peut servir de point de départ, mais d’autres paradigmes seront nécessaires pour tester des dimensions différentes du langage.

Les prochaines recherches pourront notamment chercher à vérifier si cette convergence se maintient avec d’autres constructions grammaticales, d’autres langues et d’autres modèles. Elles pourront aussi examiner à quel moment les comportements divergent : face à des phrases ambiguës, à des formulations inhabituelles ou à des règles qui entrent en conflit avec les régularités les plus fréquentes du langage.

L’enjeu est double. Pour la linguistique et la psychologie, ces travaux peuvent aider à préciser ce qui rend la représentation d’une phrase efficace. Pour l’intelligence artificielle, ils offrent des outils plus fins pour évaluer les capacités réelles des modèles, au-delà de l’impression de naturel que donnent leurs réponses. La ressemblance observée ici est donc moins une réponse définitive sur la nature de l’IA qu’une invitation à poser de meilleures questions sur le langage, humain comme artificiel.