ChatGPT, GPT-J et les mots inconnus : le rôle décisif des exemples

Les assistants comme ChatGPT donnent parfois l’impression de connaître les règles d’une langue sur le bout des doigts. Ils accordent les mots, proposent des formulations plausibles et peuvent même manipuler des termes qu’ils n’ont, en apparence, jamais vus. Mais une étude conduite par des chercheurs de l’Université d’Oxford et de l’Allen Institute for AI invite à nuancer cette intuition : derrière cette aisance, les modèles de langage pourraient s’appuyer très fortement sur les exemples emmagasinés pendant leur entraînement.

Publiée dans un contexte où les grands modèles de langage sont souvent décrits comme des machines à apprendre des règles, cette recherche se concentre sur une question linguistique précise : comment un système choisit-il la bonne forme d’un mot nouveau ? Ses résultats suggèrent une réponse plus proche de l’analogie que de l’application mécanique d’une grammaire. L’idée n’est pas que le modèle copie simplement une phrase entière déjà rencontrée, mais qu’il rapproche une forme inconnue de familles de mots qui lui sont familières.

Il faut toutefois commencer par une distinction importante. L’expérience ne teste pas directement ChatGPT, le produit conversationnel d’OpenAI, mais GPT-J, un grand modèle de langage accessible en open source. Les enseignements sont donc éclairants pour comprendre une famille de technologies, sans constituer une radiographie complète de tous les modèles commerciaux.

Une expérience pour départager les règles et les analogies

La thèse examinée par les chercheurs est simple, mais ambitieuse. Un modèle de langage apprend-il surtout une règle abstraite, par exemple « dans telle situation, il faut ajouter tel suffixe » ? Ou bien réagit-il à un nouveau mot en le rapprochant d’exemples précis rencontrés auparavant ?

Pour le vérifier, l’équipe a comparé les jugements de participants humains avec les prédictions de GPT-J. Elle s’est appuyée sur un mécanisme très courant en anglais : la transformation d’un adjectif en nom au moyen des suffixes « -ness » et « -ity ». L’exemple classique est happy, qui donne happiness. Selon les adjectifs, l’anglais privilégie cependant différentes constructions, et le choix n’est pas toujours réductible à une règle courte et sans exception.

Les scientifiques ont alors créé 200 adjectifs fictifs, dont « cormasive ». Ces mots inexistants sont particulièrement utiles : ni les personnes interrogées ni le modèle ne peuvent s’appuyer sur une définition apprise pour répondre. Ils doivent identifier des ressemblances de forme avec le vocabulaire anglais et décider quelle dérivation paraît la plus naturelle.

L’enjeu dépasse la seule langue anglaise. Lorsqu’un assistant répond à une demande inhabituelle, crée un mot ou tente d’interpréter un néologisme, il doit lui aussi généraliser. Comprendre sur quoi repose cette généralisation permet de mieux saisir à la fois la fluidité des modèles et leurs erreurs parfois déroutantes.

Pourquoi « friquish » ne se traite pas comme « cormasive »

Les résultats rapportés par l’équipe montrent que GPT-J ne paraît pas appliquer une règle uniforme à tous les adjectifs inventés. Il semble plutôt faire varier sa réponse selon les ressemblances entre le mot proposé et des mots anglais déjà rencontrés.

L’exemple de « friquish » l’illustre. Cette forme fictive évoque, par sa terminaison, des adjectifs existants comme selfish. Dans ce cas, la formation « friquishness » devient une continuation particulièrement plausible. Pour « cormasive », les influences semblent provenir d’autres paires de mots connues. Le modèle ne se comporterait donc pas comme s’il consultait une consigne générale du type « les adjectifs se transforment toujours ainsi », mais comme s’il pondérait des précédents linguistiques.

Cette manière de procéder est qualifiée de raisonnement analogique. Elle consiste à traiter une nouveauté en repérant ce qu’elle partage avec des situations antérieures. Les humains font eux aussi largement appel à ce mécanisme. Face à un mot inventé, un locuteur ne récite pas nécessairement une règle de grammaire apprise à l’école : il mobilise implicitement tout un répertoire de mots, de sons et de familles lexicales.

L’étude ne conclut donc pas que les humains et les modèles fonctionnent de façon identique. Elle souligne plutôt une ressemblance dans le type de signal exploité : les exemples spécifiques comptent beaucoup. Cela remet en cause une opposition trop simple entre, d’un côté, une intelligence humaine qui appliquerait des règles et, de l’autre, une IA qui ne ferait que compter des mots.

Près de 50 000 adjectifs pour mesurer l’effet de la fréquence

Les chercheurs ont prolongé l’expérience en examinant les réponses de GPT-J sur près de 50 000 adjectifs anglais. Cette analyse visait à déterminer si les prédictions du modèle correspondent aux schémas statistiques présents dans les données qui ont servi à son apprentissage.

Le constat est net : les choix du modèle coïncident avec ces régularités. Autrement dit, les formes de mots rencontrées, et la manière dont elles apparaissent dans les données d’entraînement, exercent une influence mesurable sur la réponse produite. Les auteurs y voient le signe que le modèle a retenu la trace d’un très grand nombre d’exemples linguistiques.

Le terme de « mémoire » mérite ici d’être manié avec précision. Il ne signifie pas nécessairement que GPT-J conserve une fiche explicite pour chaque mot, comparable à une entrée de dictionnaire consultée à la demande. Dans un modèle de langage, les régularités acquises sont distribuées dans un très grand nombre de paramètres mathématiques. L’étude observe néanmoins que les occurrences individuelles de mots semblent peser dans la généralisation du système.

Cette dépendance aux exemples permet de comprendre une force majeure des grands modèles : entraînés sur d’immenses corpus, ils peuvent exploiter des ressemblances extrêmement fines, y compris lorsqu’aucune règle simple ne suffit. Mais elle aide aussi à comprendre pourquoi la quantité et la diversité des données restent si déterminantes pour leurs performances.

Les humains disposent-ils d’un « dictionnaire mental » différent ?

C’est sur ce point que l’étude distingue le plus clairement les personnes des modèles. Les humains possèdent un lexique mental riche, qui organise des mots connus et leurs relations. Même lorsqu’ils rencontrent « friquish » ou « cormasive », ils savent que ces formes ne font pas partie du vocabulaire anglais courant. Ils peuvent alors les traiter comme de possibles néologismes et les rapprocher de mots significatifs déjà présents dans leur répertoire.

Selon l’interprétation proposée par les auteurs, GPT-J ne construirait pas de la même façon une entrée lexicale unifiée pour chaque mot. Ses réponses seraient davantage guidées par les occurrences spécifiques et les associations apprises dans ses données d’entraînement. Il peut ainsi produire une forme très convaincante sans disposer, au sens humain du terme, d’une définition stabilisée ou d’une représentation consciente du mot.

Cette différence importe lorsqu’il s’agit d’évaluer ce que signifie « comprendre ». Un assistant conversationnel peut employer correctement un terme rare, inventer une expression appropriée ou expliquer une règle. Ces performances ne suffisent pas à démontrer qu’il possède une abstraction linguistique identique à celle d’un locuteur humain. Elles montrent, en revanche, que l’apprentissage statistique à très grande échelle peut reproduire une partie remarquable de nos intuitions linguistiques.

Que dit réellement cette étude sur ChatGPT ?

Le titre de l’étude intéresse naturellement les utilisateurs de ChatGPT, car celui-ci appartient à la catégorie des grands modèles de langage. Cependant, le protocole porte sur GPT-J, pas sur une version précise de ChatGPT. Il serait donc excessif d’affirmer que chaque mécanisme observé chez GPT-J se retrouve à l’identique dans tous les systèmes d’OpenAI, de Google, d’Anthropic ou d’autres laboratoires.

En revanche, l’expérience apporte une grille de lecture utile. Les modèles de cette famille sont entraînés à partir de volumes considérables de textes. Ils apprennent des régularités de vocabulaire, de syntaxe et de style, puis prédisent les suites les plus plausibles dans un contexte donné. Lorsqu’un utilisateur soumet un terme original ou une formulation atypique, la qualité de la réponse dépend notamment de la proximité de cette demande avec les exemples ayant contribué à l’entraînement.

Cela explique pourquoi un assistant peut être excellent face à une formulation familière, mais devenir hésitant ou inventer une réponse quand la requête s’éloigne trop de ses repères linguistiques. Une phrase grammaticalement fluide n’est pas toujours une phrase juste sur le fond : la maîtrise apparente de la forme et la fiabilité factuelle sont deux questions distinctes.

Une recherche qui rapproche linguistique et intelligence artificielle

Pour Janet Pierrehumbert, autrice principale senior de l’étude, les grands modèles peuvent répondre avec une grande virtuosité tout en ne disposant pas du même niveau d’abstraction que les humains. Cette limite pourrait contribuer à expliquer leur besoin de données d’apprentissage massives, bien supérieur à ce qu’exige un enfant pour maîtriser les bases de sa langue maternelle.

Le co-auteur Valentin Hofman souligne, lui, l’intérêt d’un dialogue entre linguistique et intelligence artificielle. Les modèles sont souvent évalués sur des exercices de questions-réponses, de programmation ou de raisonnement. Les mettre à l’épreuve sur des phénomènes linguistiques très ciblés permet d’observer plus finement les mécanismes susceptibles de produire leurs réponses.

Le projet a également associé des chercheurs de la LMU Munich et de l’Université Carnegie Mellon. Cette collaboration illustre une évolution importante du domaine : pour rendre les systèmes plus robustes, plus économes en données et plus explicables, il ne suffit pas d’augmenter leur taille. Il faut aussi comprendre comment ils généralisent, quand ils échouent et quelles représentations ils construisent réellement.

Ce qu’il faut surveiller dans les prochains modèles

Cette recherche ouvre plusieurs pistes concrètes. La première concerne l’explicabilité : si les réponses d’un modèle dépendent fortement de familles d’exemples, les chercheurs pourraient chercher à mieux retracer les analogies qui influencent une sortie donnée. Cela ne rendrait pas automatiquement chaque réponse transparente, mais aiderait à dépasser l’image d’une boîte noire totalement impénétrable.

La deuxième porte sur l’efficacité de l’apprentissage. Les humains apprennent une langue avec une exposition incomparablement plus limitée que les corpus utilisés pour entraîner les grands modèles. Identifier ce qui manque encore aux systèmes actuels, notamment dans l’abstraction ou l’organisation du lexique, pourrait orienter la conception de modèles moins gourmands en données.

Enfin, ces travaux rappellent une règle utile pour les utilisateurs : l’aisance verbale d’un assistant ne doit pas être confondue avec une connaissance garantie. Les modèles excellent à repérer des motifs et à prolonger des formes linguistiques plausibles. Pour les décisions importantes, les informations nouvelles ou les sujets spécialisés, la vérification auprès de sources fiables demeure indispensable.