EXPLINGO, le système du MIT qui traduit les prédictions de l’IA en langage clair

Lorsqu’un modèle d’intelligence artificielle refuse un prêt, repère une anomalie ou recommande une option, sa réponse ne suffit pas toujours. Les personnes concernées, comme les professionnels qui doivent l’utiliser, ont besoin de savoir quels éléments ont pesé dans cette prédiction. Or les outils qui rendent ces décisions visibles s’adressent encore souvent à des spécialistes. Des chercheurs du MIT proposent de réduire cet écart avec EXPLINGO, un système conçu pour convertir des explications techniques en texte clair.

L’ambition n’est pas de prétendre qu’un modèle complexe devient soudainement simple. Elle est de présenter ses signaux et ses limites dans une forme que davantage de personnes peuvent lire, discuter et vérifier. À mesure que l’IA entre dans des processus où une erreur peut avoir des conséquences importantes, cette médiation entre calcul et langage devient un enjeu concret de confiance, mais aussi de contrôle humain.

L’explicabilité, une réponse au problème de la boîte noire

L’explicabilité de l’IA désigne l’ensemble des méthodes qui cherchent à rendre une prédiction intelligible. Elle répond à une difficulté bien connue de l’apprentissage automatique : un système peut parvenir à une réponse à partir d’un très grand nombre de calculs, sans fournir spontanément un raisonnement lisible par un humain.

Il faut distinguer plusieurs questions, souvent mélangées :

• Un modèle est-il performant, c’est-à-dire ses prédictions sont-elles souvent justes ?
• Quels facteurs ont contribué à une prédiction précise ?
• L’explication est-elle fidèle aux éléments réellement utilisés par le modèle ?
• Une personne peut-elle comprendre l’explication et s’en servir pour prendre une décision ?

Une bonne explication ne transforme donc pas une prédiction en certitude. Elle ne démontre pas non plus qu’un facteur est la cause réelle d’un événement. Elle indique plutôt comment, dans le fonctionnement du modèle et pour un cas donné, certaines données ont contribué à faire monter ou descendre une estimation.

Cette nuance est essentielle. Une IA peut produire une explication claire tout en ayant commis une erreur de prédiction. À l’inverse, un modèle performant peut rester difficile à contrôler si son explication est imprécise, incomplète ou incompréhensible pour la personne qui doit l’examiner.

Pourquoi les graphiques SHAP restent difficiles à lire

EXPLINGO s’appuie sur des explications SHAP, une méthode couramment utilisée pour identifier la contribution des variables à la sortie d’un modèle. Son principe s’inspire des valeurs de Shapley, issues de la théorie des jeux coopératifs : elle vise à répartir l’influence d’un résultat entre les différents facteurs pris en compte.

Dans une représentation SHAP, on peut par exemple visualiser quels éléments ont poussé une estimation vers le haut ou vers le bas par rapport à une valeur de référence. Ces informations sont utiles à des personnes formées aux données, mais une visualisation composée de barres, de valeurs positives et négatives, d’axes et de variables techniques ne répond pas forcément aux besoins d’un utilisateur non spécialiste.

Le passage du graphique au texte présente un intérêt évident : une explication peut être formulée sous la forme d’un récit qui hiérarchise les éléments importants. Mais cette transformation comporte aussi un risque. Un texte trop fluide peut donner l’impression d’une certitude ou d’un lien de cause à effet que les données ne permettent pas d’affirmer. Le défi consiste donc à rendre l’explication plus facile à lire sans lui faire perdre sa fidélité.

EXPLINGO repose sur deux composants complémentaires

Le système présenté par les chercheurs est structuré autour de NARRATOR et de GRADER. Le premier produit le texte, le second en évalue la qualité. Cette séparation répond à une idée simple : générer une explication accessible ne suffit pas, il faut aussi pouvoir examiner si elle restitue correctement les informations disponibles.

NARRATOR transforme les explications SHAP en récit

NARRATOR reçoit les explications fournies par SHAP et les convertit en descriptions narratives. Il utilise des modèles de langage de grande envergure pour formuler un texte lisible qui traduit des résultats issus de l’apprentissage automatique.

Le système peut s’appuyer sur des exemples d’explications fournis en amont afin d’adapter son style. Cette possibilité de personnalisation permet d’envisager des formulations différentes selon le public : une personne qui cherche une synthèse courte ne demandera pas le même niveau de détail qu’un professionnel chargé d’examiner un dossier.

L’intérêt ne réside pas uniquement dans la simplification du vocabulaire. Un récit utile doit aussi organiser l’information. Il doit, par exemple, faire ressortir les facteurs les plus déterminants sans noyer le lecteur sous une liste exhaustive de variables secondaires.

GRADER juge la qualité de l’explication produite

Le second composant, GRADER, analyse les récits générés par NARRATOR. Il évalue leur qualité en s’appuyant lui aussi sur des exemples d’explications. Les chercheurs retiennent quatre critères : la concision, la précision, l’intégralité et la fluidité.

Ces critères ne se confondent pas. Un texte très court peut être concis, mais laisser de côté un facteur important. Un texte agréable à lire peut être fluide, mais comporter une approximation. À l’inverse, une description exhaustive peut devenir trop longue pour aider réellement à la décision.

Rendre un texte naturel sans introduire d’erreur

Produire une phrase naturelle à partir de données chiffrées est plus délicat qu’il n’y paraît. Les mots de comparaison, comme « plus », « moins », « davantage » ou « principalement », peuvent être utiles pour rendre un texte compréhensible. Ils peuvent aussi introduire une erreur s’ils ne correspondent pas exactement à ce que montrent les explications du modèle.

Les chercheurs soulignent que l’ajustement des consignes de style peut accroître le risque d’erreurs. Un modèle de langage est en effet conçu pour générer une suite de mots vraisemblable et cohérente. Dans le cadre de l’explicabilité, cette aptitude doit être strictement encadrée par les informations techniques d’origine. Une explication convaincante mais infidèle serait particulièrement problématique, car elle donnerait au lecteur une fausse impression de compréhension.

Des tests ont été menés sur plusieurs ensembles de données afin d’évaluer la capacité d’EXPLINGO à adapter le style de ses récits. Le matériau source indique que ces essais ont mis en évidence l’efficacité du système à produire des explications de qualité. Il ne fournit toutefois pas de résultats chiffrés permettant de comparer précisément cette approche à d’autres méthodes.

Les quatre critères qui rendent une explication utile

La grille retenue par GRADER offre un repère pratique pour juger une explication générée par une IA. Elle rappelle qu’un texte destiné à expliquer une prédiction ne doit pas être évalué sur son seul ton ou sur sa facilité de lecture.

• Concision : le texte va à l’essentiel, sans répéter inutilement les mêmes informations.
• Précision : sa formulation correspond aux éléments fournis par l’explication technique, sans extrapolation.
• Intégralité : les facteurs nécessaires à la compréhension de la prédiction ne sont pas oubliés.
• Fluidité : la narration est grammaticalement claire et se lit naturellement.

Ces exigences peuvent parfois entrer en tension. La recherche d’intégralité pousse à donner davantage de détails, alors que la concision invite à sélectionner. L’enjeu est de trouver le niveau d’information qui permet à un lecteur de comprendre ce qui a compté, et éventuellement de demander des précisions, sans confondre la synthèse avec une simplification trompeuse.

Vers des échanges plus interactifs avec les modèles prédictifs

Les chercheurs envisagent de rendre leurs systèmes plus interactifs. L’idée serait de permettre aux utilisateurs de poser des questions sur une prédiction une fois qu’elle a été générée. Plutôt que de recevoir un texte figé, une personne pourrait ainsi explorer les éléments qui ont le plus pesé dans le résultat et confronter son propre jugement à celui de la machine.

Une telle interaction pourrait être utile lorsqu’une explication initiale soulève une question précise. Pourquoi tel facteur est-il mentionné ? Quel élément semble avoir eu le poids principal ? Comment interpréter une comparaison employée dans le texte ? Les résultats préliminaires évoqués par les chercheurs suggèrent que cette approche peut améliorer la prise de décision individuelle lors de l’interaction avec l’IA.

Cette perspective ne dispense cependant pas de prudence. Les réponses à des questions de suivi devront être aussi étroitement reliées aux explications techniques que le récit initial. Sans ce lien, l’échange risquerait de produire des commentaires plausibles mais sans rapport fiable avec le calcul réellement réalisé.

Ce qu’il faut surveiller pour une IA réellement compréhensible

Les prochaines évolutions d’EXPLINGO concernent notamment l’ajout d’éléments de rationalisation pour rendre les explications encore plus intuitives. Les formulations comparatives constituent un point d’attention identifié par les chercheurs : elles peuvent améliorer la lisibilité, mais doivent être construites avec soin pour ne pas déformer l’information.

Plus largement, la valeur d’une solution d’IA explicable dépendra de plusieurs conditions : la qualité du modèle initial, la pertinence des données utilisées, la fidélité de l’explication aux calculs et la capacité de l’utilisateur à signaler une incohérence. Dans des domaines où les décisions sont sensibles, une narration claire ne devrait jamais faire disparaître les procédures de contrôle, les possibilités de contestation ou la responsabilité humaine.

Le travail autour d’EXPLINGO illustre un mouvement important : l’acceptation de l’IA ne se joue pas uniquement sur la puissance des modèles, mais aussi sur la possibilité de comprendre ce qu’ils produisent. Mettre les résultats à portée de lecture est une étape utile. Permettre aux utilisateurs de les vérifier et de les interroger sera tout aussi décisif.