ContextCite, l’outil du MIT qui veut rendre les réponses de l’IA vérifiables

Une réponse accompagnée de liens n’est pas nécessairement une réponse fiable. Dans les assistants reposant sur l’intelligence artificielle générative, les citations peuvent parfois renvoyer vers des documents proches du sujet sans démontrer que ces documents ont effectivement conduit le modèle à écrire telle phrase. C’est précisément cet écart entre l’apparence d’une source et son influence réelle que veut réduire ContextCite, un outil mis au point par des chercheurs du laboratoire CSAIL du MIT.

L’enjeu est concret. À mesure que les modèles de langage sont utilisés pour résumer des dossiers, répondre à des questions ou assister des professionnels, ils doivent être capables de justifier leurs affirmations. Or ces systèmes peuvent produire des informations erronées avec une formulation très assurée, un phénomène couramment appelé hallucination. Ils peuvent aussi être influencés par des éléments inutiles, trompeurs ou malveillants présents dans les documents qu’on leur fournit.

ContextCite ne prétend pas transformer automatiquement chaque réponse d’IA en vérité. Son ambition est plus précise et, à ce titre, essentielle : montrer quelles parties du contexte donné au modèle ont véritablement pesé dans la génération de sa réponse. L’utilisateur peut alors contrôler lui-même la pertinence et la solidité des éléments mis en avant.

Pourquoi les citations des IA posent-elles problème ?

De nombreux assistants modernes ne répondent pas uniquement à partir de ce qu’ils ont appris pendant leur entraînement. Ils peuvent recevoir, au moment de la question, un ensemble de documents, de pages, de notes internes ou d’extraits de bases de données. Cette approche, souvent appelée génération augmentée par récupération, vise notamment à fournir au modèle des informations récentes ou spécialisées.

Dans ce cadre, la question centrale est simple : quel passage a réellement servi à produire la réponse ? Une citation classique peut signaler un document contenant une information similaire, sans établir un lien de causalité avec le texte généré. À l’inverse, un modèle peut formuler une affirmation qui ne repose sur aucun élément du contexte fourni.

Cette différence a des conséquences importantes. Si un assistant employé dans une entreprise, une université ou un service public avance une donnée inexacte, il faut pouvoir remonter à l’origine du problème. L’erreur vient-elle d’un document de référence erroné ? D’un passage mal interprété ? D’une instruction dissimulée dans une source ? Ou le modèle a-t-il produit une information qui n’était étayée par aucun des documents mis à sa disposition ?

ContextCite se concentre sur le contexte fourni au modèle

Développé par des chercheurs du MIT CSAIL, ContextCite est conçu pour attribuer une réponse d’IA aux informations externes présentes dans son contexte. Autrement dit, il examine les documents transmis au modèle avec la question de l’utilisateur, et non l’ensemble gigantesque des données utilisées pour entraîner le modèle au fil des années.

Cette précision est importante. Les modèles de langage ne conservent pas une liste consultable de toutes leurs données d’entraînement, comme le ferait une bibliothèque. Ils génèrent du texte à partir de paramètres mathématiques acquis durant leur entraînement. ContextCite ne permet donc pas d’identifier l’origine de chaque connaissance interne du modèle. Il vise les informations explicitement placées dans son environnement de travail au moment où il répond.

Le dispositif peut ainsi servir dans des applications qui s’appuient sur une documentation déterminée : une collection de textes juridiques, des documents de cours, une base de connaissances d’entreprise ou des dossiers de recherche. Dans ces cas, l’objectif est moins de demander à l’IA d’être omnisciente que de s’assurer qu’elle utilise correctement les sources autorisées.

Comment fonctionnent les ablations contextuelles ?

La méthode au cœur de ContextCite porte le nom d’ablations contextuelles. Son principe consiste à retirer des portions précises du contexte, puis à observer si la réponse du générateur de texte évolue. Si l’absence d’un passage modifie sensiblement le résultat, ce passage a vraisemblablement eu une influence importante sur la réponse initiale.

L’idée peut être comparée à une vérification par retrait. Imaginons qu’un assistant reçoive plusieurs articles et affirme qu’une mesure a été annoncée à une date donnée. ContextCite peut tester le rôle des différentes parties de ces articles. Si la suppression d’un paragraphe fait disparaître ou changer la date dans la réponse, ce paragraphe devient un candidat solide pour justifier l’affirmation.

Cette démarche est différente d’un simple repérage de mots-clés. Deux passages peuvent employer le même vocabulaire, mais seul l’un d’eux peut avoir suffisamment influencé le modèle pour orienter sa formulation. ContextCite cherche donc à mesurer l’effet d’une information sur la génération, plutôt qu’à détecter uniquement une ressemblance entre une réponse et un texte source.

La méthode apporte également une manière de localiser une erreur. Si une réponse inexacte dépend d’un extrait précis, l’utilisateur peut examiner ce passage et corriger la source, l’exclure ou en nuancer l’emploi. Si aucune portion du contexte ne semble soutenir l’affirmation, cela peut révéler que la réponse ne s’appuie pas sur les documents fournis.

Il faut toutefois employer cette lecture avec prudence. Qu’une phrase influence une réponse ne signifie pas automatiquement qu’elle est exacte, complète ou bien interprétée. La citation est un outil de traçabilité, pas un certificat de vérité. Le contrôle humain reste indispensable, notamment lorsque la question porte sur des informations sensibles ou complexes.

De la traçabilité à l’amélioration des réponses

En pratique, les assistants d’IA peuvent recevoir des contextes très volumineux. Une abondance de documents n’améliore pas systématiquement le résultat : des informations périphériques, répétitives ou contradictoires peuvent détourner l’attention du modèle de l’élément le plus pertinent.

ContextCite peut aider à isoler les parties du contexte qui comptent réellement. Cette capacité ouvre une piste pour épurer les informations transmises au modèle et obtenir des réponses plus ciblées. Elle peut aussi faciliter le travail d’évaluation des équipes qui construisent des applications d’IA : au lieu de lire l’ensemble des documents et de deviner pourquoi une réponse a été produite, elles disposent d’indices sur les passages à examiner en priorité.

Harrison Chase, de LangChain, a souligné l’intérêt de cette approche pour les applications d’IA qui doivent rester conformes à des données externes. La possibilité d’attribuer les réponses à des éléments de contexte pourrait réduire les ressources nécessaires aux tests et à la validation de ces outils.

Un moyen de repérer certaines tentatives de manipulation

Les chercheurs envisagent aussi ContextCite comme un outil de défense contre des formes de désinformation ciblant les assistants. Un document présenté à une IA comme une source informative peut contenir des instructions conçues pour modifier son comportement. Par exemple, un contenu trompeur peut tenter de faire ignorer une consigne initiale, d’imposer une conclusion ou de pousser le modèle à suivre des directives qui n’ont rien à voir avec la demande de l’utilisateur.

Ce type de manipulation est particulièrement préoccupant lorsque l’assistant consulte automatiquement des contenus externes. L’IA peut alors rencontrer des instructions malveillantes intégrées à une page ou à un fichier qu’elle traite comme une source. En identifiant les passages qui ont exercé une influence anormale sur la réponse, ContextCite pourrait aider les concepteurs à détecter ces éléments et à comprendre comment ils ont affecté le système.

L’outil ne supprime pas à lui seul le risque de manipulation. Une défense efficace suppose aussi de filtrer les documents consultés, de séparer strictement les instructions destinées au modèle des données qu’il doit analyser, et de tester les applications contre différents scénarios d’attaque. Mais la traçabilité apporte une information précieuse : elle aide à passer du constat d’une réponse suspecte à l’examen de son origine probable.

Des limites techniques encore importantes

La contrepartie de cette méthode est son coût de calcul. Pour savoir ce qui se passe lorsqu’un élément est retiré, il faut demander au modèle de produire de nouvelles réponses. Le processus nécessite donc plusieurs passes d’inférence, c’est-à-dire plusieurs exécutions du modèle, là où un assistant ordinaire peut se contenter d’une seule génération.

Les chercheurs travaillent à simplifier ce processus afin de rendre les citations plus accessibles en temps réel. C’est une condition importante pour intégrer largement l’outil à des services utilisés au quotidien, où le délai de réponse et le coût informatique comptent autant que la qualité de la justification apportée.

La structure de la langue constitue un autre défi. Une phrase peut dépendre de plusieurs éléments éloignés les uns des autres, contenir des exceptions, des négations ou des relations complexes. Retirer une portion de texte sans affecter le sens général du reste du contexte n’est pas toujours simple. Dans certaines situations, une ablation trop brutale risque de modifier la compréhension globale du document, et donc de compliquer l’interprétation du test.

Ces limites rappellent qu’une attribution fiable demande une méthode rigoureuse. Elle doit être suffisamment fine pour préserver le sens du contexte, tout en restant assez rapide pour être utilisable dans une application réelle.

Quels usages dans la santé, le droit et l’éducation ?

Les domaines où l’on attend des réponses vérifiables figurent parmi les premiers bénéficiaires potentiels. En santé, un système d’assistance ne devrait pas seulement produire une synthèse claire : il devrait permettre de retrouver les documents sur lesquels elle s’appuie. Dans le droit, la possibilité de repérer les textes qui ont influencé une réponse peut faciliter la vérification des analyses. Dans l’éducation, elle peut encourager les élèves et les enseignants à examiner les sources plutôt qu’à accepter passivement une formulation persuasive.

Ces usages appellent néanmoins des précautions. Les informations médicales et juridiques exigent une validation par des professionnels compétents. ContextCite peut améliorer la transparence du chemin suivi par un assistant, mais il ne remplace ni l’expertise, ni l’actualisation des sources, ni l’évaluation du contexte particulier d’une situation.

Le projet a reçu un soutien partiel de la National Science Foundation des États-Unis et d’autres bailleurs de fonds. Les travaux des chercheurs doivent être présentés lors de la prochaine conférence sur les systèmes de traitement d’information neuronale, NeurIPS, l’un des grands rendez-vous internationaux de la recherche en intelligence artificielle.

Ce qu’il faut surveiller

La qualité des citations produites par les IA deviendra un critère central à mesure que ces outils prendront place dans les moteurs de recherche, les logiciels professionnels et les services publics. Une réponse rapide et bien écrite ne suffit pas lorsque ses conséquences sont importantes : il faut pouvoir vérifier d’où vient l’information et détecter les cas où elle ne repose sur aucune source fournie.

ContextCite apporte une réponse originale à ce besoin en s’intéressant à l’influence effective du contexte sur la génération. Les prochains progrès dépendront de sa capacité à réduire le nombre d’inférences nécessaires, à gérer des documents linguistiquement complexes et à s’intégrer dans des interfaces compréhensibles pour des non-spécialistes.

À plus long terme, l’enjeu dépasse un seul outil. Les assistants d’IA devront faire coexister trois exigences : fournir des réponses utiles, citer des sources réellement déterminantes et signaler clairement les zones d’incertitude. C’est à cette condition que la transparence pourra devenir un véritable appui à la confiance, plutôt qu’un simple habillage de crédibilité.