Pourquoi les modèles d’IA butent encore sur la compréhension de textes simples

Un assistant conversationnel peut rédiger un courriel, résumer un dossier ou traduire une phrase en quelques secondes. Cette aisance peut donner l’impression qu’il saisit le langage comme son interlocuteur. Une étude de l’Université Rovira i Virgili, en Espagne, rappelle toutefois qu’une réponse fluide n’est pas nécessairement la preuve d’une compréhension solide : sur des questions simples en anglais, les humains ont obtenu de meilleurs résultats que les sept modèles de langage testés.

L’écart est particulièrement frappant parce que l’exercice ne portait pas sur des textes littéraires, des jeux de mots complexes ou des connaissances spécialisées. Les chercheurs ont utilisé des structures grammaticales basiques et des verbes courants. Or, même dans ce cadre limité, les systèmes d’IA ont montré des erreurs et une instabilité que les participants humains ne présentaient pas au même niveau.

Une étude qui met humains et IA face aux mêmes questions

L’équipe de recherche de l’Université Rovira i Virgili, aussi appelée URV, a soumis quarante questions à deux groupes très différents. D’un côté, 400 personnes anglophones natives. De l’autre, sept modèles de langage : Bard, ChatGPT-3.5, ChatGPT-4, Falcon, Gemini, Llama2 et Mixtral.

Le protocole visait à comparer directement leur capacité à interpréter des énoncés reposant sur des constructions grammaticales simples et des verbes fréquemment utilisés. Cette méthode a un intérêt essentiel : plutôt que de juger un modèle à la qualité générale de ses paragraphes ou à sa capacité à produire un texte convaincant, elle observe s’il donne la bonne réponse lorsqu’une formulation précise doit être interprétée.

Il faut distinguer cette démarche des évaluations habituelles des assistants d’IA. Beaucoup de démonstrations publiques mettent l’accent sur la rédaction, la programmation, les examens scolaires ou la réponse à des questions de culture générale. Ces tâches peuvent mobiliser de nombreux savoirs présents dans les données d’entraînement. Ici, l’enjeu est plus fondamental : déterminer si le système traite correctement le sens porté par une phrase apparemment élémentaire.

Les données publiées ne détaillent pas, pour chaque modèle, tous les scores de cohérence. Elles permettent en revanche d’établir deux constats nets : ChatGPT-4 reste en dessous de la moyenne humaine sur ce test, et les autres modèles sont davantage distancés.

Les humains font mieux, mais surtout de façon plus stable

Les participants humains ont atteint une précision moyenne de 89 %. Le modèle le plus performant, ChatGPT-4, arrive à 83 %. Un écart de six points peut sembler modeste à première vue, mais il devient important lorsqu’il porte sur des structures conçues comme simples et lorsqu’une réponse exacte est attendue de manière répétée.

Le second enseignement concerne la constance. Les humains ont obtenu 87 % de cohérence dans leurs réponses. Pour les modèles, cette mesure varie de 66 % à 83 %. Autrement dit, les IA ne sont pas seulement parfois moins précises : elles peuvent aussi répondre de façon moins stable à des interrogations répétées.

Cette caractéristique est importante dans un usage concret. Un système qui varie sur une question de langage apparemment claire peut dérouter son utilisateur. Plus grave, une réponse formulée avec assurance peut masquer cette fragilité. La fluidité stylistique des grands modèles de langage rend en effet leurs erreurs moins visibles qu’une erreur de calcul affichée dans un tableur.

Que signifie « comprendre » une phrase pour une IA ?

Les grands modèles de langage, souvent désignés par l’acronyme anglais LLM, sont des réseaux neuronaux entraînés sur d’immenses volumes de textes. Lorsqu’un utilisateur écrit une consigne, ils produisent leur réponse en calculant, étape après étape, quels mots ou fragments de mots sont les plus plausibles dans le contexte fourni.

Cette méthode est très efficace pour générer du texte naturel, proposer des reformulations, résumer un document ou traduire de nombreux passages. Elle ne correspond cependant pas nécessairement à la compréhension humaine du langage. Une personne mobilise son vocabulaire, les règles grammaticales, le contexte d’une conversation, son expérience du monde et, souvent, l’intention supposée de celui qui parle.

La chercheuse Vittoria Dentella, de l’URV, résume ainsi l’interprétation des auteurs : « Les LLMs ne comprennent pas réellement le langage, ils exploitent simplement des schémas statistiques dans leurs données d’apprentissage ».

Cette phrase ne signifie pas que les modèles ne peuvent jamais produire une réponse pertinente. Ils y parviennent souvent. Elle pointe une différence de mécanisme : un modèle peut associer avec succès une formulation à une réponse fréquemment rencontrée, sans disposer d’une représentation du sens comparable à celle d’un humain. Lorsque la structure d’une phrase, le contexte ou la formulation s’écartent des régularités apprises, cette approche peut révéler ses limites.

Pourquoi des phrases simples peuvent-elles poser problème ?

La simplicité d’une phrase ne se réduit pas à son nombre de mots. Pour l’interpréter correctement, il faut notamment identifier qui fait une action, sur quoi elle porte, ce que modifie un pronom ou encore ce qu’implique une formulation dans un contexte donné. Les humains accomplissent ces opérations très rapidement, en combinant grammaire, sens des mots et connaissances pratiques.

Dans les échanges ordinaires, cette compréhension passe aussi par des éléments que le texte n’énonce pas toujours explicitement. L’interlocuteur reconnaît une intention, une contradiction, une précision implicite ou la suite logique d’un raisonnement. Les expressions figurées, l’ironie et les métaphores ajoutent encore une difficulté, mais l’étude montre que les obstacles ne commencent pas seulement avec ces subtilités : des structures plus élémentaires suffisent à produire des écarts mesurables.

Les modèles de langage repèrent des régularités très fines dans leurs données d’apprentissage. Cela leur permet d’imiter avec une grande efficacité de nombreuses formes de raisonnement verbal. Mais une imitation statistique réussie n’exclut pas les erreurs localisées. C’est pourquoi la performance globale d’un outil, même impressionnante, ne doit pas être confondue avec une garantie sur chaque phrase ou chaque question.

Peut-on encore faire confiance aux assistants d’IA ?

Cette étude n’affirme pas que les modèles évalués sont inutiles, ni qu’ils échouent systématiquement à comprendre un texte. Elle examine un ensemble défini de quarante questions, en anglais, avec un groupe précis de participants et sept systèmes identifiés. Ses résultats ne permettent donc pas de classer définitivement toutes les IA ni de mesurer l’ensemble de leurs capacités linguistiques.

Ils appellent en revanche à la prudence dans les situations où une interprétation exacte est déterminante. Dans l’éducation, l’administration, le droit, la santé ou le service client, une nuance mal comprise peut modifier la portée d’une réponse. Dans ces contextes, l’IA peut aider à préparer, organiser ou reformuler, mais elle ne devrait pas devenir l’unique arbitre du sens d’un texte important.

Quelques réflexes permettent de réduire le risque d’erreur :

• demander au modèle d’expliquer comment il interprète les termes ambigus ;
• fournir le contexte utile plutôt qu’une phrase isolée ;
• comparer une réponse avec le document original ;
• solliciter une vérification humaine lorsque l’enjeu est juridique, médical, financier ou administratif ;
• ne pas interpréter le ton assuré d’une réponse comme un indice automatique de fiabilité.

Les limites d’un test ne font pas disparaître son signal

Toute étude expérimentale doit être lue à l’aune de son protocole. Ici, le questionnaire comprend quarante questions et les participants humains sont des anglophones natifs. Les résultats décrivent donc la performance des modèles testés dans ce cadre, à un moment donné, sur la compréhension de l’anglais. Ils ne disent pas à eux seuls comment les mêmes systèmes se comporteraient dans toutes les langues, dans toutes les tâches ou après une mise à jour.

Cette réserve est importante, car les outils d’IA évoluent rapidement et leurs performances dépendent aussi de la formulation de la consigne, de la version utilisée et des paramètres de génération. Mais elle ne doit pas conduire à écarter l’étude. Justement, un bon test ne cherche pas seulement à confirmer ce que les modèles font déjà bien. Il met en évidence les cas où leur comportement paraît plus solide qu’il ne l’est réellement.

La présence de modèles aux architectures et aux éditeurs différents renforce l’intérêt du constat. Les difficultés observées ne concernent pas exclusivement un assistant particulier. Elles renvoient à une question de recherche plus large : comment évaluer une capacité de compréhension, au-delà de la qualité apparente du texte produit ?

Ce qu’il faut surveiller dans les prochaines recherches

L’étude de l’URV souligne la nécessité de tests plus exigeants et plus transparents. Pour être utiles au public comme aux professionnels, les évaluations devront mesurer non seulement le taux de bonnes réponses, mais aussi leur stabilité, leur sensibilité à de petites reformulations et leur aptitude à signaler une ambiguïté plutôt qu’à inventer une interprétation.

Les futurs travaux devront aussi élargir les langues et les contextes étudiés. Le langage n’est pas qu’un ensemble de règles grammaticales : il porte des conventions culturelles, des sous-entendus et des usages variables selon les situations. Évaluer une IA uniquement sur des réponses spectaculaires ou des questionnaires de connaissances ne suffit pas à apprécier sa fiabilité dans une conversation réelle.

Pour les utilisateurs, le message est moins spectaculaire mais plus utile : les assistants d’IA sont des outils de traitement du langage très puissants, pas des lecteurs infaillibles. Leur meilleure utilisation consiste à exploiter leur rapidité tout en conservant un contrôle humain sur les formulations dont le sens, la nuance et les conséquences comptent réellement.