Pourquoi ChatGPT préfère parfois inventer plutôt que reconnaître ses limites

Au 13 septembre 2025, l’un des défauts les plus déroutants de ChatGPT reste sa capacité à répondre avec aplomb à une question dont il ignore pourtant la solution. Il peut attribuer une citation inexistante, inventer une date, confondre deux personnes ou fournir une explication très cohérente sur un fait erroné. Ce phénomène porte un nom : l’hallucination. Et il ne s’explique pas seulement par un manque d’informations dans les données d’entraînement.

Le problème tient aussi à une incitation plus profonde : un modèle de langage est avant tout construit pour produire une suite de mots plausible. Lorsqu’il est évalué principalement sur sa faculté à fournir la bonne réponse, il peut être statistiquement avantageux de risquer une supposition plutôt que de répondre « je ne sais pas ». OpenAI appelle donc à revoir la manière dont ces systèmes sont mesurés, afin de faire de l’abstention une réponse utile, plutôt qu’un échec.

Une hallucination n’est pas un mensonge

Dire que ChatGPT « ment » est séduisant, mais imprécis. Mentir suppose de connaître la vérité et de vouloir la dissimuler. Un grand modèle de langage ne possède ni intention propre, ni conscience de ce qu’il affirme au sens humain. Il génère du texte en calculant, à partir de la requête et de son contexte, quelles suites de mots sont les plus probables.

Une hallucination survient lorsque cette génération produit une information présentée comme factuelle, mais qui ne repose pas sur une base fiable. La formulation peut être fluide, détaillée et convaincante. C’est précisément ce qui rend l’erreur difficile à repérer pour un lecteur pressé : la qualité du style ne garantit pas la qualité du fait.

Les hallucinations peuvent prendre plusieurs formes :

• une information entièrement inventée, comme une référence, un ouvrage ou une décision qui n’existe pas ;
• un fait réel déplacé dans le mauvais contexte, avec une mauvaise date ou une mauvaise personne ;
• une réponse exacte sur le principe, mais trompeuse dans ses détails ;
• une source citée qui existe, sans étayer réellement l’affirmation avancée.

Pourquoi ChatGPT a-t-il du mal à dire « je ne sais pas » ?

Le point de départ se trouve dans le pré-entraînement. Durant cette phase, les modèles apprennent sur d’immenses quantités de textes et cherchent à prédire le mot, ou plus exactement le fragment de mot, qui doit logiquement suivre une séquence. À force d’exemples, ils apprennent les règles de la langue, des associations entre idées, des formes de raisonnement et de nombreuses connaissances présentes dans leurs données.

Ce mécanisme est extrêmement performant pour produire du texte. Il ne transforme cependant pas le modèle en base de données dotée d’une étiquette « vrai », « faux » ou « inconnu » pour chaque élément. Face à un fait fréquent et bien représenté dans ses données, le modèle peut généralement retrouver des régularités solides. Face à un détail rare, ambigu, récent, très spécialisé ou absent de ses données, il dispose de moins d’indices.

Dans cette situation, le modèle ne rencontre pas naturellement un panneau d’arrêt lui indiquant qu’il ne sait rien. Il continue à générer le texte le plus vraisemblable au regard des motifs statistiques appris. Une date peut alors sembler cohérente parce qu’elle correspond aux dates habituellement associées à un événement du même type. Un nom d’auteur peut être proposé parce qu’il est souvent lié au domaine évoqué. La phrase paraît plausible, mais le fait peut être faux.

Cette limite est particulièrement visible avec les questions très précises : titres d’articles peu connus, résultats locaux, références académiques obscures, statistiques détaillées ou événements récents. Plus une information est singulière, plus le risque de voir l’IA combler une lacune par une réponse plausible augmente.

Le piège des évaluations fondées sur le score

Le comportement d’un modèle dépend aussi de la manière dont ses performances sont évaluées. Dans de nombreux tests, on pose une question et l’on calcule la proportion de réponses justes. Vu sous cet angle, ne rien répondre est souvent assimilé à une mauvaise réponse. Deviner, en revanche, laisse une possibilité d’avoir raison.

Le parallèle avec un questionnaire à choix multiples est parlant. Une personne qui ne connaît pas la réponse peut choisir de cocher une proposition. Elle risque de se tromper, mais elle conserve une chance de tomber juste. Si le système de notation ne pénalise pas particulièrement une erreur par rapport à une abstention, la stratégie de la supposition devient rationnelle pour améliorer le score moyen.

C’est cette logique qu’OpenAI met en cause. Un indicateur limité au pourcentage de bonnes réponses peut masquer une différence pourtant essentielle pour les utilisateurs : un modèle qui répond un peu moins souvent, mais évite de fabriquer des informations, peut s’avérer plus fiable qu’un autre qui répond systématiquement.

La qualité ne se résume donc pas à la seule précision brute. Il faut aussi observer la façon dont un système gère l’incertitude, sa propension à inventer et sa capacité à signaler qu’il n’a pas assez d’éléments pour trancher.

Trois issues pour mieux mesurer les réponses

OpenAI propose de ne plus réduire l’évaluation à l’opposition entre réussite et échec. La grille distingue trois catégories : la bonne réponse, l’erreur et l’abstention. Cette dernière correspond au cas où le modèle indique qu’il ne peut pas répondre de façon suffisamment certaine.

Dans cette approche, une abstention n’est pas mise au même niveau qu’une erreur. Elle reste moins utile qu’une réponse juste, mais elle vaut mieux qu’une affirmation fausse. Le changement est important : il revient à récompenser une forme d’« humilité » opérationnelle du modèle, c’est-à-dire sa capacité à ne pas surjouer sa certitude.

GPT-5-thinking-mini et o4-mini : deux comportements différents

Les analyses évoquées par OpenAI illustrent concrètement ce compromis avec GPT-5-thinking-mini et o4-mini. Le premier présente une tendance plus marquée à s’abstenir lorsqu’il estime que son niveau d’incertitude est trop important. Il peut donc afficher un taux de réponses exactes inférieur, puisqu’il laisse davantage de questions sans réponse directe.

Mais ce choix réduit aussi le nombre d’erreurs. Dans une situation où l’utilisateur cherche une information fiable, cette retenue peut améliorer l’efficacité globale du système : mieux vaut signaler une limite que produire une explication erronée avec un ton catégorique.

À l’inverse, o4-mini privilégie davantage la réponse systématique. Cette stratégie peut augmenter le nombre de réponses correctes, puisqu’elle couvre davantage de questions. Elle s’accompagne toutefois d’un coût : lorsque le modèle ne dispose pas de la bonne information, il produit aussi davantage d’erreurs.

Cette comparaison ne permet pas de désigner un vainqueur universel. Tout dépend de l’usage. Pour du brainstorming, de la reformulation ou de la création de premiers jets, une réponse exploratoire peut être utile, à condition d’être relue. Pour une question juridique, médicale, financière, scientifique ou professionnelle à fort enjeu, une abstention explicite est souvent préférable à une réponse fragile.

L’accès au web ne supprime pas automatiquement les hallucinations

Un assistant connecté au web, à des documents ou à une base de connaissances dispose d’un avantage évident : il peut chercher des informations qui n’étaient pas présentes dans ses données d’entraînement. Cet accès ne transforme pas pour autant le modèle en arbitre infaillible de la vérité.

Il faut encore que la recherche trouve une source pertinente, que cette source soit fiable, que le modèle l’interprète correctement et qu’il ne mélange pas plusieurs éléments incompatibles. Une réponse peut aussi paraître documentée tout en reposant sur une source mal comprise ou insuffisante. L’accès à des outils améliore donc potentiellement la vérifiabilité, mais ne dispense pas d’un contrôle humain.

Pour l’utilisateur, la bonne pratique consiste à demander au modèle de distinguer clairement les faits établis, les hypothèses et les points qu’il ne peut pas confirmer. Lorsqu’une réponse concerne une décision importante, il faut remonter aux documents d’origine : texte de loi, publication scientifique, organisme compétent, site officiel ou professionnel qualifié selon le sujet.

Comment limiter les erreurs dans son usage quotidien

Les progrès d’évaluation sont nécessaires, mais les utilisateurs conservent un rôle essentiel. ChatGPT est particulièrement utile pour expliquer, structurer, résumer, comparer des idées ou préparer des pistes de recherche. Il devient plus risqué lorsqu’on lui demande de trancher seul sur un fait rare, une actualité immédiate ou une décision aux conséquences concrètes.

Quelques réflexes réduisent nettement le risque d’être trompé :

• demander au modèle ce qui, dans sa réponse, est certain, incertain ou supposé ;
• exiger des références vérifiables plutôt que de se contenter d’une formulation persuasive ;
• vérifier les noms propres, chiffres, dates et citations, qui sont souvent les éléments les plus faciles à halluciner ;
• fractionner une question complexe afin d’identifier l’étape précise où l’incertitude apparaît ;
• ne jamais traiter une réponse d’IA comme un avis médical, juridique ou financier définitif.

Une formulation utile consiste à demander : « Si vous n’êtes pas sûr, dites-le explicitement et indiquez ce qu’il faudrait vérifier. » Cela ne garantit pas l’absence d’erreur, mais incite le système à mieux exprimer ses limites plutôt qu’à masquer l’incertitude sous un texte fluide.

Ce qu’il faut surveiller

La réduction des hallucinations ne dépendra pas d’une seule amélioration technique. Elle implique des données de meilleure qualité, des outils de vérification, des interfaces qui rendent les sources lisibles, des modèles capables d’évaluer leur propre incertitude et, surtout, des critères de performance plus proches des besoins réels.

L’enjeu soulevé par OpenAI est donc autant méthodologique que technologique. Tant que les systèmes seront principalement récompensés pour leur capacité à répondre, ils resteront tentés de compléter les blancs. Donner une vraie valeur à l’abstention pourrait modifier ce comportement et rendre les assistants plus dignes de confiance.

Pour les utilisateurs, la leçon est simple : une IA qui dit « je ne sais pas » n’est pas nécessairement moins compétente. Dans bien des cas, c’est au contraire le signe qu’elle évite de transformer une incertitude en fausse certitude.