Une méthode pour que l’IA reconnaisse enfin ce qu’elle ne sait pas

Les assistants conversationnels donnent souvent l’impression d’avoir réponse à tout. Cette fluidité est l’une de leurs forces, mais aussi l’une de leurs faiblesses : un modèle peut formuler une réponse très convaincante alors que l’information est fausse, incomplète ou hors de son domaine de compétence. Dans un échange anodin, l’erreur peut n’être qu’un désagrément. En médecine, en droit ou en ingénierie, elle peut en revanche conduire à une mauvaise décision.

Des chercheurs en informatique de l’université Johns Hopkins proposent une approche centrée sur une idée simple : une intelligence artificielle devrait pouvoir reconnaître quand elle ne sait pas suffisamment. Leur travail ne vise pas à rendre les modèles infaillibles. Il cherche plutôt à leur apprendre à arbitrer entre trois comportements : répondre, consacrer davantage de calcul à l’examen d’un problème, ou s’abstenir.

Cette distinction est essentielle. Une IA utile dans un contexte sensible ne doit pas seulement maximiser le nombre de réponses correctes. Elle doit aussi limiter les réponses erronées lorsqu’elles peuvent avoir des conséquences importantes.

Pourquoi les IA répondent-elles même lorsqu’elles doutent ?

Les grands modèles de langage sont conçus pour produire la suite de texte la plus plausible à partir d’une demande. Ils ne vérifient pas automatiquement chaque affirmation dans une base de connaissances fiable et ne possèdent pas, au sens humain, une conscience de leur ignorance. Ils peuvent néanmoins estimer un niveau de confiance à partir de leurs propres calculs et de la stabilité de leur raisonnement.

Le problème est que répondre est souvent valorisé lors de l’entraînement et de l’évaluation. Dans de nombreux tests, une bonne réponse rapporte un point, une mauvaise réponse n’en retire pas et l’absence de réponse ne rapporte rien. Avec une telle règle, tenter sa chance peut devenir une stratégie rationnelle pour un système, même s’il n’est pas certain de lui.

L’exemple du jeu télévisé Jeopardy! éclaire bien ce mécanisme. Un candidat y gagne de l’argent lorsqu’il répond juste, mais en perd lorsqu’il répond faux. Il a donc intérêt à ne pas déclencher son buzzer à chaque question. De façon comparable, un médecin ne doit pas avancer un diagnostic sans éléments suffisants, et un ingénieur ne devrait pas valider une solution dont la fiabilité n’a pas été établie.

L’enjeu est moins de transformer une IA en arbitre autonome que de concevoir des outils capables de signaler clairement leurs limites. Une réponse telle que « je ne peux pas conclure avec assez de confiance » peut être beaucoup plus sûre qu’une affirmation incorrecte exprimée avec assurance.

Ce que l’équipe de Johns Hopkins a testé

Le point de départ de la recherche est une observation : les modèles de langage avancés peuvent employer davantage de calcul pour traiter les problèmes complexes. Cette phase est parfois décrite comme un temps de réflexion ou une chaîne de raisonnement. Les chercheurs ont voulu déterminer ce que changeait la longueur de ce raisonnement, non seulement sur l’exactitude finale, mais aussi sur la capacité du modèle à évaluer son propre degré de certitude.

Pour cela, ils ont examiné des chaînes de raisonnement de longueurs différentes lors de la résolution de problèmes de mathématiques. Ils ont ensuite comparé deux éléments :

• la précision de la réponse finale, c’est-à-dire sa justesse ;
• la confiance associée par le modèle à cette réponse.

Les résultats suggèrent qu’un temps de raisonnement plus long améliore généralement à la fois la précision et la confiance. Cette conclusion ne signifie toutefois pas qu’il suffirait de laisser un modèle calculer plus longtemps pour garantir une bonne réponse. Une IA peut poursuivre un raisonnement erroné, développer une justification cohérente en apparence ou devenir excessivement sûre d’elle.

Les chercheurs relèvent notamment un résultat contre-intuitif : lorsque le seuil de confiance est très élevé et que le temps de réflexion s’allonge, la précision des modèles peut diminuer. Autrement dit, plus de calcul ne produit pas mécaniquement une meilleure décision. Les performances dépendent de plusieurs paramètres, dont le problème posé, le budget de calcul et le coût attribué à une mauvaise réponse.

Le principe : répondre seulement lorsque le jeu en vaut la peine

À partir de ces observations, l’équipe propose d’intégrer explicitement le coût des erreurs dans la décision du modèle. Le système reçoit un budget de calcul, qu’il peut employer pour prolonger son raisonnement. À l’issue de ce processus, il compare sa confiance à un seuil défini. Si ce seuil n’est pas atteint, il peut choisir de ne pas répondre.

Le mécanisme repose sur une idée d’utilité : une bonne réponse apporte un bénéfice, une réponse erronée entraîne un coût et l’abstention possède elle aussi une valeur, souvent neutre ou légèrement négative selon le contexte. Le meilleur comportement ne consiste donc pas toujours à répondre.

Les chercheurs ont formulé trois régimes de pénalité. Ils ne décrivent pas trois types d’IA différents, mais trois manières de mesurer la performance d’un même comportement selon l’enjeu associé à l’erreur.

Dans le régime dit des « cotes d’examen », une réponse incorrecte n’est pas pénalisée. C’est le cadre habituel de nombreux exercices scolaires et benchmarks : une bonne réponse améliore le score, une erreur ne fait que manquer un point. Cette règle pousse naturellement à répondre souvent.

Les « cotes de Jeopardy » introduisent une symétrie : la récompense d’une bonne réponse est équivalente à la pénalité d’une mauvaise. Le modèle doit donc être plus sélectif. Enfin, les « cotes à enjeux élevés » font peser une sanction bien supérieure sur les réponses fausses. Dans ce cas, l’abstention devient une option souhaitable dès lors que la confiance demeure trop basse.

Pourquoi ce compromis est particulièrement important en santé, en droit et en ingénierie

Cette approche répond à une réalité souvent oubliée dans les démonstrations d’IA : toutes les erreurs ne se valent pas. Recommander un film inadapté et produire une analyse médicale erronée ne présentent pas le même niveau de gravité. Le bon critère n’est donc pas seulement « quelle IA répond le plus souvent juste ? », mais aussi « dans quelles circonstances l’outil accepte-t-il de répondre malgré un doute important ? ».

Dans le domaine médical, une IA pourrait assister un professionnel en signalant qu’un cas sort de son niveau de confiance, plutôt que de présenter une recommandation catégorique. En droit, un système pourrait distinguer une explication générale d’une situation nécessitant une vérification humaine approfondie. En ingénierie, une alerte d’incertitude peut conduire à un contrôle complémentaire avant qu’une décision technique ne soit appliquée.

Il faut toutefois éviter un contresens : cette méthode ne remplace ni l’expertise, ni les procédures de validation, ni la responsabilité humaine. Un score de confiance n’est pas un certificat de vérité. Il peut être mal calibré, varier selon les types de questions ou être élevé sur une réponse pourtant fausse. La sûreté d’un système dépend aussi de la qualité de ses données, de son interface, de son cadre d’emploi et de la possibilité pour un utilisateur de contrôler son travail.

Le revers de cette prudence est évident : l’outil peut devenir moins disponible. Un étudiant demandant une aide rapide à un exercice pourrait être frustré par une IA qui s’abstient trop souvent. Mais lorsque le prix d’une erreur est élevé, cette frustration peut constituer un compromis acceptable, voire souhaitable.

Mesurer autre chose que le simple taux de bonnes réponses

L’un des apports les plus importants de cette recherche est un appel lancé à la communauté scientifique. Les auteurs encouragent les concepteurs et évaluateurs de modèles à publier aussi leurs résultats dans des environnements où les réponses fausses ont un coût non nul.

Cette demande touche à une limite des benchmarks classiques. Un tableau de scores peut indiquer qu’un modèle répond correctement à une large part d’un ensemble de questions. Il révèle moins bien sa capacité à reconnaître les cas ambigus, ses erreurs les plus confiantes, ou sa tendance à s’abstenir à bon escient.

Pour juger un système destiné à un usage réel, plusieurs questions deviennent alors pertinentes :

• À partir de quel niveau de confiance répond-il ?
• Combien de bonnes réponses perd-il en choisissant de s’abstenir ?
• Combien d’erreurs évite-t-il grâce à cette prudence ?
• Son niveau de confiance correspond-il réellement à sa fiabilité observée ?
• Le coût appliqué aux erreurs est-il adapté au domaine concerné ?

Cette logique rapproche l’évaluation des IA des décisions quotidiennes. Une personne ne choisit pas de la même manière lorsqu’elle répond à un quiz, conseille un proche ou valide une opération technique. Les modèles devraient eux aussi être évalués dans des scénarios qui tiennent compte des conséquences de leurs erreurs.

Ce que cette recherche ne règle pas encore

Apprendre à une IA à déclarer son incertitude est une étape utile, mais ce n’est pas une solution complète au problème des hallucinations. Le modèle doit encore être capable de produire une estimation de confiance fiable. Or, une réponse formulée avec assurance peut reposer sur une information erronée, et un système peut aussi se montrer excessivement prudent sur des questions qu’il saurait résoudre.

Le réglage du seuil constitue un autre défi. Un seuil trop bas laisse passer des réponses risquées. Un seuil trop haut augmente les refus, y compris lorsque le modèle aurait pu aider correctement. Il doit donc être ajusté au contexte. La tolérance à l’erreur acceptable dans un outil pédagogique n’est pas celle d’un système employé pour assister une décision clinique.

Enfin, l’abstention doit être intelligible. Dire seulement « je ne sais pas » ne suffit pas toujours. Dans une application bien conçue, l’outil devrait pouvoir indiquer qu’une vérification est nécessaire, orienter vers des sources ou un professionnel compétent lorsque cela est approprié, et éviter de masquer une réponse spéculative derrière une formulation vague.

Ce qu’il faut surveiller

La recherche de Johns Hopkins invite à déplacer le regard : le progrès d’une IA ne se mesure pas uniquement à sa capacité à répondre à davantage de questions. Il se mesure aussi à sa faculté de reconnaître les situations où elle n’offre pas de garantie suffisante.

Les prochains travaux devront notamment montrer si cette méthode se généralise au-delà des problèmes mathématiques étudiés, à quels types de modèles elle s’applique et comment ses scores de confiance se comportent dans des tâches concrètes. La question du coût du calcul restera également centrale : laisser un modèle raisonner plus longtemps peut améliorer certains résultats, mais cette ressource n’est pas illimitée.

Pour les utilisateurs comme pour les organisations, la leçon est déjà claire. Une réponse d’IA doit être considérée comme une aide, non comme une preuve. Les systèmes les plus dignes de confiance ne seront peut-être pas ceux qui paraissent les plus sûrs d’eux, mais ceux qui savent signaler, de manière compréhensible, le moment où il faut passer le relais à la vérification humaine.