Pourquoi les grands modèles linguistiques oublient parfois le milieu des documents

Un assistant conversationnel peut résumer des dizaines de pages en quelques secondes, retrouver une clause dans un contrat ou répondre à une question sur un dossier complexe. Cette apparente aisance cache toutefois une faiblesse moins visible : dans un texte long, tous les passages ne reçoivent pas nécessairement la même attention. Une recherche menée par des scientifiques du MIT aide à comprendre pourquoi les grands modèles linguistiques, ou LLM, tendent parfois à mieux exploiter ce qui se trouve au début et à la fin d’une séquence qu’en son milieu.

Le constat ne concerne pas ici les stéréotypes sociaux souvent associés au mot « biais ». Il s’agit d’un biais de position : la place d’une information dans un document, une conversation ou un extrait de code peut influencer les chances qu’elle soit correctement retrouvée et utilisée par le modèle. Cette limite est particulièrement importante dès lors que l’IA intervient dans des situations où une omission peut peser lourd, du droit à la santé en passant par le développement logiciel.

Un biais de position, qu’est-ce que cela signifie ?

Le biais de position désigne la propension d’un modèle à privilégier certaines zones d’une séquence textuelle. Dans les résultats décrits par les chercheurs, les informations situées aux extrémités d’un document sont plus facilement récupérées que celles placées dans sa partie centrale. Autrement dit, déplacer une même phrase, sans modifier son contenu, peut changer la qualité de la réponse fournie par l’IA.

Prenons le cas concret évoqué par les travaux : un avocat demande à un assistant fondé sur un LLM de retrouver une phrase précise dans un affidavit de 30 pages. Si l’élément déterminant est placé dans les premières ou les dernières pages, le système a davantage de chances de l’identifier. S’il se trouve au milieu, le risque de le manquer augmente.

Cette observation ne veut pas dire que le modèle ignore systématiquement le centre d’un texte, ni qu’un passage placé au début sera toujours bien interprété. Elle révèle une différence de performance statistique selon la position. Pour un utilisateur, la nuance est essentielle : une réponse convaincante ne garantit pas que l’assistant a accordé un poids équivalent à l’ensemble des pièces qui lui ont été transmises.

Pourquoi les LLM ne lisent-ils pas un document comme un humain ?

Des modèles tels que Claude, Llama et GPT-4 reposent sur une famille d’architectures appelée transformeur. Leur rôle fondamental consiste à traiter des suites d’éléments, notamment des mots découpés en unités plus petites appelées tokens, puis à prédire la suite la plus probable. Pour accomplir cette tâche, ils utilisent un mécanisme d’attention.

L’attention permet au modèle d’établir des relations entre différents morceaux d’un même texte. Dans une phrase, elle aide par exemple à relier un pronom au nom auquel il renvoie. Dans un document beaucoup plus long, elle devrait en principe permettre de rapprocher une question posée à la fin d’une précision écrite plusieurs pages plus tôt.

Mais ce fonctionnement dépend de choix techniques précis. Les modèles doivent notamment disposer d’un moyen de distinguer les positions : sans cette information, une suite de mots identiques placés dans un ordre différent ne serait pas correctement interprétée. Ils emploient donc des encodages positionnels, qui donnent au système des repères sur la place de chaque élément dans la séquence.

Un autre choix courant est le masquage de l’attention. Dans les modèles qui génèrent du texte mot après mot, un mécanisme de masquage causal empêche un élément d’accéder aux mots situés après lui. Cette contrainte est nécessaire à la prédiction séquentielle, mais les chercheurs montrent qu’elle peut aussi contribuer à une préférence structurelle pour le début des séquences. Les limites ne viennent donc pas seulement du volume du document : elles peuvent être inscrites dans la manière même dont les informations circulent à travers l’architecture.

Ce que révèle le cadre théorique du MIT

Les chercheurs du MIT ont mis au point un cadre théorique pour étudier ce flux d’information dans les architectures d’apprentissage automatique à la base des LLM. L’ambition est importante : plutôt que de se contenter de constater qu’un modèle se trompe davantage à certaines positions, ils cherchent à expliquer quels mécanismes de conception favorisent cette inégalité de traitement.

Les grands modèles de langage restent largement des « boîtes noires » pour leurs utilisateurs, et souvent en partie pour leurs concepteurs. On peut mesurer une réponse correcte ou erronée, mais il est plus difficile d’isoler le parcours exact ayant amené le modèle à privilégier une portion de texte. Le cadre proposé vise précisément à rendre ce phénomène plus analysable.

L’étude met en évidence que certains choix d’architecture peuvent intensifier le biais de position. Plus un modèle comporte de mécanismes d’attention successifs, plus la transmission fidèle d’un indice utile à travers les différentes couches peut devenir délicate. Il ne s’agit pas de dire que davantage de couches rendent mécaniquement un modèle moins bon. Elles participent à ses capacités générales. Mais leur effet sur la conservation d’une information selon son emplacement doit être évalué.

Les travaux évoquent aussi un effet de dilution des encodages positionnels. En rapprochant des mots similaires ou essentiels, ce phénomène pourrait limiter le biais dans certains cas. Son influence reste toutefois réduite dans les modèles dotés de nombreuses couches d’attention. C’est l’une des raisons pour lesquelles une amélioration isolée ne suffit pas forcément : les performances résultent d’interactions entre plusieurs choix techniques.

La « perte dans le milieu » observée dans les expériences

Les expériences rapportées décrivent un résultat visuel parlant : la précision de récupération de l’information suit un schéma en U. Les performances sont meilleures lorsque la réponse recherchée se situe près du début ou près de la fin de la séquence, et moins bonnes lorsqu’elle se trouve au centre.

Cette « perte dans le milieu » est facile à sous-estimer dans un échange bref. Si un utilisateur ne fournit qu’un paragraphe et pose une question simple, la position des éléments a peu de raisons de constituer un obstacle majeur. Le problème devient plus concret avec des documents longs, des discussions qui s’étendent, des dépôts de code ou des dossiers composés de plusieurs pièces.

Le tableau ne fournit pas une règle de lecture universelle applicable à chaque modèle et à chaque requête. Il traduit une tendance expérimentale. Dans la pratique, le libellé de la question, la longueur du texte, la formulation de l’information recherchée et les caractéristiques du modèle peuvent aussi modifier le résultat. La leçon reste néanmoins robuste : confier un long corpus à une IA ne dispense pas de vérifier qu’elle a réellement traité les éléments décisifs.

Quels usages sont les plus exposés ?

Le biais de position devient préoccupant lorsque l’ordre d’un document ne devrait pas affecter le fond de l’analyse. Dans un dossier juridique, une clause placée au milieu d’une annexe ne devrait pas être moins considérée qu’une clause similaire figurant à la première page. Dans un contexte médical, un antécédent pertinent ne devrait pas perdre de son importance parce qu’il apparaît entre deux sections plus visibles du dossier.

Les assistants de programmation sont également concernés. Un programme informatique contient souvent des dépendances et des définitions éloignées les unes des autres. Si l’outil prête une attention inégale aux différentes zones du code, il peut proposer une correction qui paraît localement plausible tout en négligeant une condition importante déclarée plus haut ou au milieu du fichier.

Il faut cependant éviter une conclusion excessive. Un LLM n’est pas, par nature, un outil de décision autonome pour ces domaines sensibles. Il peut assister la recherche, le tri, la synthèse ou la rédaction, mais une réponse générée ne remplace pas l’examen d’un professionnel compétent. Le biais de position renforce cette exigence de contrôle humain, car il montre qu’une erreur peut provenir de la structure du traitement, même lorsque le document fourni contenait bien l’information correcte.

Comment réduire ce biais de position ?

Les chercheurs envisagent plusieurs pistes au niveau de l’architecture. L’une consiste à étudier des techniques de masquage de l’attention différentes. Une autre est de réduire le nombre de couches dans le mécanisme d’attention. Ces modifications pourraient améliorer la précision du traitement, à condition d’être évaluées avec soin, car l’architecture d’un modèle résulte toujours de compromis entre plusieurs capacités.

Le travail sur les encodages positionnels constitue une autre voie. Puisque ces mécanismes aident le modèle à situer les éléments d’une séquence, mieux comprendre leur dilution et leur interaction avec les couches d’attention pourrait permettre de limiter les écarts entre le début, le centre et la fin d’un document.

Pour les équipes qui conçoivent ou déploient des assistants, le premier levier est la mesure. Un système ne devrait pas être testé uniquement avec des réponses placées à un endroit fixe. Il est utile de déplacer l’information correcte à plusieurs positions dans un même document et de comparer les résultats. Une IA réellement robuste doit conserver une qualité comparable quand le contenu pertinent change de place.

Du côté des utilisateurs, quelques précautions simples réduisent le risque sans prétendre résoudre le défaut technique :

• demander à l’outil de citer précisément le passage sur lequel il s’appuie, puis le relire ;
• découper un corpus volumineux en sections cohérentes lorsque la tâche le permet ;
• poser plusieurs questions ciblées plutôt qu’une demande de synthèse trop générale ;
• ne pas utiliser une réponse non vérifiée comme fondement unique d’une décision médicale, juridique ou financière.

Ces habitudes n’éliminent pas le biais de position. Elles permettent surtout de rendre les omissions plus faciles à détecter.

Ce qu’il faut surveiller pour des IA plus fiables

La recherche ouvre deux perspectives complémentaires. La première est défensive : réduire les situations dans lesquelles la position d’une donnée détermine indûment son influence. La seconde est plus exploratoire : comprendre si ce biais peut, dans certains cas, être exploité de façon stratégique dans des applications particulières. Une telle utilisation supposerait toutefois une maîtrise fine du phénomène et une transparence complète sur ses conséquences.

L’enjeu dépasse les performances techniques. Les LLM prennent progressivement place dans des outils utilisés pour écrire, chercher, programmer et analyser. Leur crédibilité dépendra non seulement de leur capacité à donner une bonne réponse, mais aussi de leur capacité à traiter avec constance les informations qui leur sont confiées, quel que soit l’endroit où elles apparaissent.

Des chatbots plus fiables, des systèmes d’IA médicale plus justes et des assistants de codage plus attentifs à l’ensemble d’un programme font partie des bénéfices attendus de cette meilleure compréhension. Avant d’y parvenir, les concepteurs devront rendre ces modèles moins opaques et intégrer le biais de position aux évaluations de routine. Car dans un long document, ce qui se trouve au milieu n’est pas secondaire : c’est parfois précisément l’information qui change tout.