IA : une méthode pour vérifier si ses explications reflètent vraiment ses décisions

Une intelligence artificielle peut fournir une justification claire, structurée et rassurante, sans que celle-ci décrive véritablement ce qui a déterminé sa réponse. C’est le problème que cherchent à cerner des chercheurs de Microsoft et du laboratoire d’informatique et d’intelligence artificielle du MIT, le CSAIL. Leur travail, présenté en juin 2025, propose une façon plus rigoureuse de vérifier les explications produites par les grands modèles de langage.

Parler d’une IA qui « ment » est une formule commode, mais imparfaite. Un modèle de langage n’a pas nécessairement l’intention de tromper comme le ferait une personne. En revanche, il peut produire une explication plausible qui ne correspond pas aux éléments ayant effectivement pesé dans son résultat. Pour un utilisateur, la conséquence est proche : il peut accorder sa confiance à une décision dont il ne comprend pas les vrais ressorts.

L’enjeu dépasse le simple confort d’utilisation. Lorsqu’un système aide à comparer des candidatures, à analyser un dossier ou à commenter un cas médical fictif, une justification séduisante peut masquer un biais ou l’omission d’une information importante. La nouvelle méthode s’intéresse donc moins à la qualité littéraire de l’explication qu’à sa fidélité.

Une explication convaincante n’est pas forcément fidèle

Les grands modèles de langage, ou LLM, génèrent du texte en prédisant la suite la plus probable d’une séquence. Ils sont capables de répondre à une question, de résumer un document, de classer des profils ou de proposer une recommandation. Ils savent aussi expliquer leur réponse dans un langage très naturel.

Cette aisance crée un risque particulier : une explication peut sembler logique à un lecteur parce qu’elle mobilise des critères habituellement pertinents, comme les compétences professionnelles d’un candidat ou les symptômes d’un patient. Pourtant, le modèle peut avoir été davantage influencé par un autre élément de la requête, qu’il ne mentionne pas.

La recherche menée par Microsoft et le MIT emploie le terme de fidélité pour désigner l’adéquation entre l’explication affichée et le mécanisme qui a conduit le modèle à répondre. Il ne faut pas la confondre avec l’exactitude factuelle : une explication peut être fidèle à un raisonnement interne tout en menant à une réponse erronée, et une réponse exacte peut être accompagnée d’une justification trompeuse.

Que mesure la fidélité conceptuelle causale ?

La proposition des chercheurs porte le nom de fidélité conceptuelle causale. L’idée est de comparer deux choses : les concepts que l’explication semble présenter comme importants, et les concepts qui ont un effet causal mesurable sur la réponse du modèle.

Un « concept » peut désigner une information contenue dans une question. Dans le cas d’une candidature, il peut s’agir du niveau d’expérience, de l’âge, des compétences mentionnées ou du genre. Dans un scénario médical fictif, ce peut être un symptôme, une donnée clinique ou un antécédent. La méthode cherche ensuite à savoir ce qui se passe si l’un de ces éléments est changé, sans bouleverser le reste de la situation.

C’est un raisonnement contrefactuel. Au lieu de demander seulement « quels critères l’IA dit-elle avoir utilisés ? », les chercheurs demandent : « sa réponse aurait-elle changé si cette information avait été différente ? ». Si la réponse varie lorsqu’on modifie le genre d’un candidat, par exemple, ce concept semble avoir eu un effet sur la sortie du modèle. Si l’explication ne mentionne jamais cet élément et attribue entièrement la décision à d’autres critères, un écart apparaît entre le discours du système et son comportement observé.

Cette démarche ne prétend pas lire directement dans les paramètres d’un réseau de neurones. Elle observe plutôt les conséquences de modifications réalistes apportées aux données d’entrée. C’est une distinction importante : l’objectif est d’évaluer concrètement la fiabilité d’une justification pour un type de décision donné.

Comment les chercheurs testent-ils les raisons données par un LLM ?

Le protocole se déroule en plusieurs étapes. Les chercheurs font d’abord appel à un LLM auxiliaire pour repérer les concepts importants présents dans la requête initiale. Ils examinent ensuite séparément l’effet de ces concepts sur la réponse du modèle principal. Enfin, ils confrontent ces effets aux éléments explicitement mis en avant dans l’explication générée.

Concrètement, le protocole peut modifier le sexe d’un candidat tout en conservant le reste de son profil, ou supprimer une information clinique dans un cas médical hypothétique. Il ne s’agit pas de poser une question vague sur les biais d’une IA. Le test vérifie si la décision change lorsque l’on transforme une donnée particulière, puis si le modèle reconnaît le rôle de cette donnée dans son explication.

La force de l’approche tient à sa capacité à produire des résultats interprétables. Plutôt que de conclure de manière générale qu’un modèle est opaque ou biaisé, elle peut signaler qu’une catégorie d’informations semble influencer une décision sans être reconnue dans la justification associée.

Des tests sur GPT-3.5, GPT-4o et Claude-3.5-Sonnet

L’équipe a évalué cette approche sur plusieurs modèles de langage : GPT-3.5, GPT-4o et Claude-3.5-Sonnet. Les expériences reposaient notamment sur des jeux de données destinés au questionnement, avec des scénarios de biais social et des situations médicales fictives.

Une première observation concerne les informations d’identité sociale. Dans un jeu de données conçu pour tester les biais sociaux, les modèles ont parfois fourni des explications qui masquaient leur dépendance à des caractéristiques telles que la race ou le genre. Autrement dit, les justifications pouvaient mettre en avant des facteurs apparemment neutres, alors que les tests contrefactuels indiquaient l’influence d’une information sociale.

L’étude évoque notamment un cas dans lequel GPT-3.5 attribuait de meilleures notes à des candidates qu’à leurs homologues masculins, tout en expliquant ses évaluations par des critères comme l’âge ou les compétences. Le constat central n’est pas qu’un modèle favoriserait systématiquement un groupe dans toutes les circonstances. Il est que l’explication fournie peut ne pas révéler le facteur qui a affecté la décision dans le scénario testé.

Le même décalage a été observé dans des cas médicaux hypothétiques. Certaines explications omettaient des éléments de preuve cliniques qui avaient pourtant un effet important sur la recommandation de traitement. Dans un domaine où l’utilisateur peut être tenté de considérer une réponse détaillée comme une forme d’expertise, ce type d’omission est particulièrement préoccupant.

Pourquoi ce sujet compte dans la santé, le droit et le recrutement

Les explications générées par une IA ne servent pas seulement à satisfaire la curiosité de l’utilisateur. Elles peuvent orienter un choix, rendre une recommandation plus persuasive ou donner l’impression qu’une décision automatisée est contrôlable. C’est précisément pourquoi la fidélité importe.

Dans le recrutement, une justification qui ignore l’influence potentielle du genre, de la race ou d’un autre attribut social empêche de détecter un problème. Dans le domaine juridique, une explication non fidèle peut fausser l’évaluation par un professionnel des raisons avancées pour une recommandation. Dans la santé, omettre une donnée clinique déterminante peut amener un lecteur à sous-estimer les limites de l’avis fourni par la machine.

Cette recherche ne dit pas qu’il faut renoncer à toute explication générée par un LLM. Elle rappelle plutôt qu’une explication ne doit pas être jugée seulement sur sa clarté. Pour les équipes qui conçoivent ou déploient ces outils, il devient nécessaire de tester si les justifications restent alignées avec les variations réelles du comportement du système.

Pour les utilisateurs, la prudence consiste notamment à :

• ne pas confondre une réponse détaillée avec une décision auditable ;
• vérifier les informations importantes auprès de sources ou de professionnels compétents ;
• éviter de déléguer à un chatbot seul une décision médicale, juridique ou de recrutement ;
• demander quels éléments ont été pris en compte, tout en gardant à l’esprit que la réponse de l’IA doit elle-même être évaluée.

Une méthode utile, mais encore imparfaite

Les auteurs signalent eux-mêmes plusieurs limites. La première tient au recours à un LLM auxiliaire pour identifier les concepts clés dans la question. Ce modèle peut commettre des erreurs, ignorer un concept pertinent ou en sélectionner un qui ne l’est pas. Une partie de l’évaluation dépend donc de la qualité de cette étape préalable.

La seconde difficulté concerne les concepts fortement corrélés. Dans la vie réelle, certaines informations apparaissent souvent ensemble. Les modifier une par une peut sous-estimer leurs effets combinés, ou rendre plus difficile l’identification du facteur exact à l’origine d’un changement de réponse. Les chercheurs envisagent des interventions multi-concept afin de mieux analyser ces interactions.

Ces limites ne réduisent pas l’intérêt de la démarche. Elles définissent plutôt son rôle : un instrument d’audit et de recherche, pas un détecteur de mensonge universel capable de trancher instantanément sur la fiabilité de n’importe quelle réponse. Les résultats doivent être interprétés dans le contexte du jeu de données, de la formulation de la requête et du modèle testé.

Ce qu’il faut surveiller

La fidélité des explications devrait devenir un critère central pour les systèmes d’IA utilisés dans des contextes sensibles. Les modèles progressent rapidement en fluidité et en capacité à justifier leurs réponses. Mais une justification plus agréable à lire ne garantit pas qu’elle soit plus fidèle.

La piste ouverte par Microsoft et le MIT peut aider les développeurs à repérer des formes précises d’explications trompeuses, puis à concevoir des correctifs adaptés. Si un audit montre qu’un système cache l’effet du genre dans l’évaluation de profils, son usage peut être limité pour ce type de tâche ou son comportement peut faire l’objet d’un travail de correction.

Pour le public, la leçon est simple : face à une IA, il faut évaluer à la fois la réponse, ses sources éventuelles, le contexte d’utilisation et les raisons invoquées. La transparence ne consiste pas seulement à obtenir une explication. Elle consiste à pouvoir vérifier si cette explication correspond bien à la manière dont le système a réellement produit sa décision.