Pourquoi les grands modèles de langage répondent parfois au lieu d’admettre leur ignorance

Les grands modèles de langage donnent parfois l’impression de tout savoir. Ils rédigent une synthèse, expliquent une notion complexe, produisent du code ou répondent à une question dans un français naturel et structuré. Cette fluidité est précisément ce qui rend leurs erreurs difficiles à repérer. Lorsqu’un système fournit une affirmation inventée avec le même ton assuré qu’un fait exact, l’utilisateur ne dispose pas forcément des indices nécessaires pour douter.

La question n’est donc pas seulement de savoir si les modèles deviennent plus grands et plus performants. Elle est aussi de déterminer s’ils savent signaler les limites de ce qu’ils peuvent affirmer. Au 28 septembre 2024, la course aux modèles toujours plus puissants ne résout pas automatiquement ce problème fondamental : un modèle peut être excellent dans de nombreux exercices et rester incapable de dire clairement « je ne sais pas » dans certaines situations.

Un modèle de langage ne raisonne pas comme une encyclopédie

Un grand modèle de langage, souvent désigné par l’acronyme anglais LLM, est entraîné à prédire le mot ou le fragment de texte qui a le plus de chances de suivre ce qui précède. Pour y parvenir, il analyse d’immenses corpus de textes et ajuste un très grand nombre de paramètres. Ces paramètres sont des valeurs numériques qui permettent au modèle de repérer des régularités dans le langage : associations entre mots, structures de phrases, styles, faits fréquemment évoqués ou raisonnements présents dans ses données d’entraînement.

Ce mécanisme produit des résultats remarquables, mais il ne transforme pas le système en base de données infaillible. Un LLM ne consulte pas spontanément un registre de faits validés avant de répondre. Sans outil de recherche externe ou base documentaire associée, il compose avant tout une suite de mots vraisemblable au regard de son entraînement et de l’instruction reçue.

C’est l’une des origines des « hallucinations » : le terme désigne une réponse fausse, non vérifiable ou inventée par le modèle. Il ne signifie pas que la machine perçoit le monde comme un humain. Il décrit plutôt un échec de génération, où la cohérence apparente du texte l’emporte sur l’exactitude.

Un modèle peut ainsi inventer une référence bibliographique au format convaincant, attribuer une citation à la mauvaise personne ou expliquer avec assurance une règle qui n’existe pas. Plus la demande est précise, rare, ambiguë ou récente, plus ce risque augmente. Le problème est aggravé lorsque l’utilisateur suppose que la qualité de la formulation garantit celle de l’information.

Grandir améliore des capacités, pas nécessairement la prudence

La taille d’un modèle est souvent résumée par son nombre de paramètres. Pourtant, elle ne constitue qu’une partie de l’équation. La quantité et la qualité des données, la puissance de calcul mobilisée pendant l’entraînement, l’architecture du système et les étapes d’ajustement après entraînement jouent également un rôle déterminant.

Les travaux sur les lois de mise à l’échelle ont montré que l’augmentation du calcul, des données et de la taille peut améliorer les performances moyennes sur de nombreux tests. Mais une moyenne cache des situations très différentes. Un score élevé sur un benchmark ne garantit pas que le modèle saura reconnaître une question mal posée, une information absente de ses données ou un contexte où plusieurs réponses sont possibles.

Le rapport entre taille du modèle et volume de données compte particulièrement. Un modèle surdimensionné au regard des données réellement exploitées ne tire pas nécessairement le meilleur parti du calcul disponible. Des recherches ont souligné qu’il faut équilibrer paramètres et données d’entraînement, plutôt que supposer qu’ajouter des paramètres suffit à produire un système plus fiable.

La formule « plus grand » ne doit donc pas être confondue avec « plus juste ». Elle peut correspondre à une amélioration spectaculaire de certaines compétences, comme la rédaction, la traduction ou la capacité à suivre des consignes complexes, tout en laissant subsister des réponses erronées dans des cas sensibles ou imprévus.

La confiance du ton crée une illusion de compétence

Le cœur du problème réside dans l’écart entre deux notions : la probabilité linguistique et la certitude factuelle. Le modèle peut estimer qu’une phrase est très probable dans un contexte donné, sans disposer d’un mécanisme fiable lui permettant d’attester que son contenu est vrai dans le monde réel.

L’utilisateur, lui, interprète naturellement le style de la réponse. Une phrase nuancée, structurée et dénuée de fautes paraît plus crédible qu’une phrase hésitante. Les LLM sont précisément conçus pour produire ce type de texte. Leur assurance apparente peut alors être perçue à tort comme une preuve de compréhension profonde ou de vérification préalable.

On parle parfois d’« illusion de compétence ». Le modèle semble maîtriser le sujet parce qu’il en reproduit efficacement le vocabulaire, les explications et les formes argumentatives. Cela ne veut pas dire qu’il possède une compréhension humaine, une expérience du monde ou une conscience de son ignorance. Il n’a pas d’intention de tromper, mais il peut générer une réponse trompeuse parce que répondre est, dans bien des cas, statistiquement plus naturel que refuser.

Cette limite éclaire aussi l’expression d’« entropie cognitive » parfois employée pour décrire l’accumulation de réponses très plausibles mais incertaines. Il ne s’agit pas d’un diagnostic sur l’esprit d’une machine. Le risque concret est informationnel : à force de textes convaincants et insuffisamment vérifiés, l’utilisateur peut perdre la capacité de distinguer rapidement l’information établie, l’hypothèse et l’invention.

Peut-on apprendre à une IA à dire « je ne sais pas » ?

Faire reconnaître ses limites à un modèle est l’un des objectifs importants de la recherche sur la fiabilité. En pratique, il ne suffit pas d’ajouter une phrase de prudence dans l’interface. Le système doit apprendre à identifier les cas où ses connaissances sont insuffisantes, où la demande est ambiguë ou où une réponse exigerait une source actualisée et contrôlée.

Plusieurs approches peuvent être combinées :

• entraîner le modèle sur des exemples où le refus ou l’aveu d’incertitude est la bonne réponse ;
• évaluer si le niveau de confiance exprimé correspond réellement à la probabilité d’avoir raison, ce que l’on appelle la calibration ;
• connecter le modèle à une base documentaire choisie et à jour, afin qu’il s’appuie sur des documents identifiables ;
• demander au système de vérifier certains résultats avec des outils, par exemple un calculateur ou un moteur de recherche documentaire ;
• conserver une validation humaine lorsque l’enjeu est élevé.

Ces mécanismes ont chacun leurs limites. Une base documentaire peut être incomplète, un outil de recherche peut remonter une mauvaise source et un modèle peut mal interpréter le contenu récupéré. Ils réduisent néanmoins le risque en changeant la tâche : au lieu de demander au système de produire une réponse de mémoire, on l’incite à justifier son résultat à partir d’informations contrôlables.

L’évaluation doit aussi porter sur les mauvaises réponses, pas seulement sur les bonnes. Un modèle utile n’est pas celui qui répond à tout prix. C’est celui qui fournit une aide pertinente, explique son degré d’incertitude et redirige l’utilisateur quand il n’est pas en mesure de répondre correctement.

Pourquoi les erreurs comptent davantage dans certains secteurs

Dans un échange informel, une erreur sur une date culturelle ou une recommandation de film peut être corrigée sans conséquence majeure. La situation change lorsque le texte généré sert à apprendre, décider, diagnostiquer, protéger un système informatique ou préparer un document professionnel.

Dans l’éducation, un élève peut mémoriser une explication fausse si elle paraît claire et détaillée. L’outil peut être précieux pour reformuler un cours, proposer des exercices ou expliquer plusieurs méthodes, mais les contenus factuels, les citations et les calculs doivent être vérifiés. L’enseignant conserve un rôle central pour fournir le cadre, les sources et le recul critique.

Dans la santé, les LLM peuvent aider à mettre en forme des informations ou à préparer des échanges, mais une réponse erronée sur un symptôme, un traitement ou une dose ne peut pas être traitée comme un simple défaut rédactionnel. Les usages doivent être encadrés par des professionnels et par des procédures adaptées à la sécurité des patients.

En cybersécurité, un modèle peut résumer une alerte ou assister un analyste. Il peut aussi proposer une configuration inadaptée, omettre une vulnérabilité ou inventer une commande. Dans ce domaine, suivre sans contrôle une instruction générée peut fragiliser un système au lieu de le protéger.

Le secteur de la construction et les grandes entreprises expérimentent également des usages pour organiser des documents, analyser des procédures ou assister les équipes. Mais plus un texte généré influence une décision opérationnelle, plus il faut savoir qui le valide, sur quelles données il repose et comment une erreur peut être détectée avant d’être appliquée.

Comment utiliser un LLM sans lui accorder une confiance excessive

Le premier réflexe consiste à distinguer les tâches de création des tâches de vérification. Demander un plan, une reformulation, des idées de questions ou une explication accessible est généralement différent de demander un chiffre exact, une référence de loi, une analyse médicale ou une information d’actualité. Dans le second cas, le résultat doit être considéré comme un point de départ, non comme une réponse définitive.

Quelques pratiques réduisent sensiblement le risque :

• demander au modèle d’indiquer ses hypothèses et les points incertains ;
• exiger des références lorsque la question porte sur des faits, puis contrôler qu’elles existent réellement ;
• fournir les documents de travail pertinents au lieu de compter sur une connaissance générale ;
• recouper les affirmations importantes avec des sources fiables et indépendantes ;
• ne jamais transmettre de données personnelles, confidentielles ou sensibles dans un outil non autorisé par son organisation.

Il est aussi utile de reformuler la question. Une réponse qui change fortement selon la manière dont la demande est posée mérite une attention particulière. De même, une explication trop nette sur un sujet complexe, controversé ou insuffisamment documenté doit éveiller la vigilance.

Ce qu’il faut surveiller dans la course aux modèles

La concurrence entre OpenAI, Alphabet, Meta, Amazon et d’autres acteurs accélère le lancement de modèles plus capables. En septembre 2024, Meta a notamment présenté Llama 3.2, illustrant l’évolution vers des modèles capables de traiter aussi des images selon leurs versions. Cette dynamique nourrit des attentes considérables, dans les entreprises comme auprès du grand public.

L’enjeu des prochaines avancées ne se résume pas à afficher davantage de paramètres ou de meilleurs résultats sur quelques tests. Il porte sur la capacité des systèmes à fournir des réponses traçables, à s’appuyer sur des données de qualité, à exprimer utilement leur incertitude et à éviter les inventions lorsqu’ils manquent d’éléments.

Les utilisateurs auront également un rôle déterminant. Comprendre qu’un LLM est un outil de génération et d’assistance, non une autorité automatique, permet de tirer parti de ses qualités sans confondre éloquence et vérité. À mesure que ces systèmes prennent place dans les études, le travail et les services du quotidien, leur aptitude à reconnaître leurs limites deviendra aussi importante que leur aptitude à produire des réponses.