Les chatbots IA se surestiment, même après leurs erreurs, selon une étude

Les chatbots ont appris à répondre avec fluidité, à organiser une explication et à adopter un ton rassurant. Mais cette aisance peut masquer une limite importante : une réponse formulée avec aplomb n’est pas forcément juste. Une étude consacrée à la manière dont les modèles de langage évaluent leurs propres performances montre qu’ils peuvent conserver, voire renforcer, leur assurance après des résultats médiocres.

Ce décalage entre l’exactitude d’une réponse et la confiance affichée est particulièrement important à mesure que ces outils s’installent dans les études, le travail et les recherches quotidiennes. Il ne signifie pas qu’un chatbot est inutile ou qu’il se trompe systématiquement. Il rappelle en revanche que son assurance ne constitue pas, à elle seule, un indicateur fiable pour décider de le croire.

Une étude compare l’assurance des humains et celle des modèles

Les chercheurs ont soumis à la fois des participants humains et des modèles de langage avancés à des questions de natures différentes : des questions de culture générale, des pronostics sportifs et des exercices d’identification d’images. Après avoir répondu, chacun devait apprécier la qualité de sa propre performance.

L’idée est simple : savoir répondre correctement est une chose, savoir reconnaître ses incertitudes en est une autre. Cette seconde capacité est souvent désignée par le terme de métacognition. Chez un humain, elle correspond par exemple au fait de dire : « Je pense avoir une bonne partie des réponses, mais je doute de certaines d’entre elles. »

Les résultats rapportés dans l’étude font apparaître un contraste. Les personnes interrogées avaient certes tendance à surestimer leurs capacités, un biais bien connu. Mais lorsqu’elles avaient connaissance de leur performance, elles révisaient habituellement leur jugement dans le bon sens. Trent Cash, chercheur à l’Université Carnegie Mellon, l’illustre ainsi : « si les humains estiment avoir réussi 18 questions, souvent, leur nouvelle estimation sera autour de 16 réponses correctes ».

Les modèles de langage étudiés ne se sont pas montrés aussi capables de corriger leur appréciation. Même après une performance faible, ils pouvaient afficher une auto-évaluation en hausse. Autrement dit, le retour d’expérience ne se traduisait pas nécessairement par davantage de prudence dans la réponse suivante.

Pourquoi un chatbot peut-il sembler si sûr de lui ?

Un grand modèle de langage, ou LLM, produit du texte en prédisant les mots les plus plausibles à la suite d’une demande. Il a été entraîné sur de très grandes quantités de textes et sait reproduire les formes d’une réponse convaincante : une affirmation nette, une explication ordonnée, un vocabulaire précis et parfois des références qui paraissent crédibles.

Cette mécanique ne correspond toutefois pas à une conscience de ses propres connaissances. Lorsqu’un utilisateur demande à un chatbot s’il est sûr de lui, la réponse obtenue est elle-même du texte généré. Une formule telle que « je suis certain » ou « ma confiance est élevée » ne doit donc pas être comprise comme la mesure directe d’un niveau de certitude interne comparable à celui d’une personne.

Il faut aussi distinguer deux problèmes proches, mais différents :

• Une erreur factuelle survient lorsqu’une information donnée est fausse ou imprécise.
• Une hallucination désigne une information inventée, par exemple un fait, une citation ou une source qui n’existe pas.
• La surconfiance apparaît lorsque le ton ou l’auto-évaluation ne reflète pas correctement le risque d’erreur.

Un chatbot peut donner une réponse exacte tout en affichant une assurance excessive. À l’inverse, il peut exprimer une réserve raisonnable tout en ayant trouvé la bonne information. L’objectif d’une bonne métacognition n’est donc pas de rendre le système hésitant en permanence, mais d’aligner aussi bien que possible sa prudence sur la probabilité réelle de se tromper.

Danny Oppenheimer, co-auteur de l’étude, souligne une difficulté particulière pour les utilisateurs humains : à l’écrit, les chatbots ne fournissent pas les indices non verbaux qui aident habituellement à détecter une affirmation peu fiable. Face à une réponse bien rédigée, il est plus facile de confondre clarté, autorité apparente et exactitude.

Des écarts marqués selon les modèles et les exercices

L’étude ne conclut pas que tous les outils d’IA présentent exactement le même niveau de fiabilité. Les performances varient selon le modèle et selon la tâche demandée. Sonnet y apparaît plus fiable que d’autres LLM dans les exercices évoqués. ChatGPT-4 a atteint des résultats comparables à ceux des participants humains pour l’identification d’images.

Le cas de Gemini est particulièrement frappant dans ce même test : le modèle a obtenu moins d’une réponse correcte sur 20, tout en continuant à évaluer sa performance de manière très favorable. Cet écart illustre le problème analysé par les chercheurs : une réponse ou une auto-évaluation confiante ne permet pas, à elle seule, de distinguer un résultat solide d’un résultat fragile.

Ces chiffres ne doivent pas être lus comme un classement général et définitif de tous les chatbots. Ils décrivent des modèles, des versions et des conditions de test précises. Les performances peuvent varier avec la formulation de la consigne, le domaine de connaissance, l’accès éventuel à des outils externes ou encore les mises à jour réalisées par les éditeurs.

Quels risques dans les usages quotidiens ?

La plupart des échanges avec un chatbot sont sans conséquence majeure : reformuler un texte, trouver des idées de repas, résumer une notion ou préparer une liste de questions. Dans ces situations, une imprécision est souvent détectable et facilement corrigée.

Le risque augmente quand l’utilisateur s’appuie sur la réponse pour prendre une décision, sans vérification indépendante. Les questions portant sur un événement futur, par exemple le gagnant d’une compétition, ne peuvent de toute façon pas appeler une certitude factuelle. Les questions subjectives, comme l’interprétation d’une image ou l’évaluation d’une personne, donnent également peu de prise à une assurance chiffrée ou catégorique.

Dans les sujets plus sensibles, les conséquences peuvent être plus sérieuses. Une réponse incorrecte sur une règle juridique, une démarche administrative, une information financière ou un sujet de santé peut orienter l’utilisateur dans une mauvaise direction. Le chatbot peut aider à comprendre un terme, à préparer des questions pour un professionnel ou à organiser des informations. Il ne devrait pas être le seul fondement d’une décision importante.

Une recherche de la BBC avait déjà mis en évidence un problème voisin : plus de la moitié des réponses de chatbots examinées contenaient des erreurs factuelles significatives ou des sources mal attribuées. Une source citée par une IA mérite donc la même vérification qu’une affirmation non sourcée, même si elle est présentée avec précision.

Comment utiliser un chatbot sans se laisser guider par son assurance ?

La première règle consiste à traiter la réponse d’un chatbot comme un point de départ, non comme une preuve. Cette posture est utile même lorsque la réponse semble détaillée, structurée ou accompagnée de dates et de noms précis.

Quelques réflexes permettent de réduire les risques :

• Vérifier les faits importants auprès d’une source primaire ou reconnue, comme une administration, une publication scientifique, une entreprise concernée ou un média fiable.
• Demander les limites de la réponse, les hypothèses retenues et les éléments qui demandent confirmation, sans considérer la réponse obtenue comme une garantie.
• Contrôler les références une à une : une source peut être mal attribuée, sortir de son contexte ou être entièrement inventée.
• Distinguer faits et conseils : un chatbot peut résumer une information, mais un conseil médical, juridique ou financier personnalisé appelle un professionnel qualifié.
• Formuler une demande précise, avec une date, un pays et le contexte utile. Cela n’élimine pas les erreurs, mais limite les réponses trop générales.

Demander une réponse contradictoire peut aussi être utile : « Quels arguments pourraient contredire cette conclusion ? » ou « Quels points dois-je vérifier avant de m’appuyer sur cette réponse ? » Cette méthode n’est pas un contrôle infaillible, car le même système peut répéter une erreur sous une autre forme. Elle favorise néanmoins une lecture plus critique.

Ce que l’étude mesure, et ce qu’elle ne permet pas d’affirmer

La métacognition des IA est un sujet de recherche complexe. Dans cette étude, elle est observée à travers la capacité des modèles à relier leur évaluation de confiance à leur performance réelle sur des tâches données. Il ne s’agit pas d’affirmer qu’un chatbot « croit » littéralement à ses réponses comme le ferait une personne.

Le constat n’autorise pas non plus à juger tous les LLM à partir d’un seul exercice. Un modèle peut être performant dans une tâche et faible dans une autre. Une réponse correcte ne démontre pas davantage que le système sait de manière fiable reconnaître toutes ses zones d’incertitude.

Cette nuance est essentielle pour les utilisateurs comme pour les entreprises qui déploient des assistants conversationnels. La qualité attendue ne se limite pas au taux de bonnes réponses. Elle concerne aussi la capacité à signaler les cas ambigus, à refuser une conclusion non fondée, à présenter des sources vérifiables et à transmettre un degré de prudence adapté.

Ce qu’il faut surveiller pour rendre les chatbots plus fiables

Les chercheurs cités restent ouverts à l’idée que les modèles puissent mieux comprendre leurs propres limites à mesure qu’ils accumulent des données et que leurs méthodes d’évaluation progressent. L’enjeu sera de les entraîner non seulement à produire une réponse plausible, mais aussi à calibrer la confiance associée à cette réponse.

Des progrès crédibles devront être mesurés avec des tests transparents : le système se montre-t-il prudent lorsqu’il est hors de son domaine de compétence ? Réduit-il effectivement son niveau de confiance après une erreur ? Ses sources correspondent-elles bien aux affirmations formulées ? Et ses performances restent-elles robustes hors des exercices sur lesquels il a été évalué ?

En attendant, la meilleure protection demeure un usage lucide. L’aisance rédactionnelle des chatbots est réelle, tout comme leur utilité pour explorer un sujet. Mais plus une réponse paraît décisive, plus il est pertinent de se demander sur quels éléments vérifiables elle repose. Avec les IA conversationnelles, la confiance ne doit pas être accordée au ton : elle doit être gagnée par les faits.