Pourquoi les LLM oublient le milieu d’un texte, et comment réduire ce biais

Les grands modèles de langage donnent l’impression de pouvoir parcourir sans effort des dizaines de pages, résumer un dossier ou retrouver un détail dans une longue conversation. Pourtant, leur attention n’est pas nécessairement répartie de façon égale sur tout le texte fourni. Des travaux de chercheurs du MIT se penchent sur un défaut important de ces systèmes : le biais de position, une tendance à mieux exploiter les informations placées au début ou à la fin d’une séquence qu’au milieu.

Le problème est moins visible dans une courte question que dans les usages où l’IA doit naviguer dans un volume conséquent de texte. Imaginez un assistant auquel on confie un affidavit de 30 pages afin d’y repérer une formulation précise. Si cette formulation figure au centre du document, le modèle peut être moins performant que si elle apparaissait dans les premières ou les dernières pages. Ce n’est pas un simple détail d’ergonomie : dans les domaines juridique, médical ou technique, une information manquée peut fausser une synthèse, une recherche ou une recommandation.

Le biais de position, qu’est-ce que cela signifie ?

Un LLM, pour large language model, travaille sur une suite d’unités de texte appelées tokens. Un token peut correspondre à un mot, à une partie de mot ou à un signe de ponctuation. Lorsqu’un utilisateur lui soumet un document avec une question, le modèle doit déterminer quels tokens sont les plus pertinents pour produire sa réponse.

Le biais de position décrit une asymétrie : à contenu identique, une donnée située à une extrémité du contexte peut avoir davantage de chances d’être correctement retrouvée ou utilisée qu’une donnée au centre. Les expérimentations rapportées par l’équipe de recherche dessinent une courbe en U. La précision est la plus élevée lorsque la bonne information est proche du début ou de la fin de la séquence, puis elle baisse à mesure que cette information se rapproche du milieu.

Cette observation est parfois résumée par l’expression anglaise « lost in the middle », que l’on peut traduire par « perdu au milieu ». Il ne faut pas l’interpréter comme si le modèle cessait littéralement de lire le centre du texte. Un LLM ne lit pas comme un humain et ne surligne pas une page. Il calcule des relations entre tokens selon son architecture et ce qu’il a appris pendant sa formation. Le résultat final peut néanmoins donner l’impression qu’un élément central a été négligé.

Pourquoi l’architecture d’un LLM favorise-t-elle certaines positions ?

Pour éclairer ce mécanisme, les chercheurs ont développé un cadre théorique fondé sur des graphes. Dans cette représentation, les tokens constituent des nœuds reliés par les interactions qu’ils entretiennent au sein du modèle. Le graphe permet de distinguer les contributions directes et indirectes d’un token au contexte global : une information peut atteindre un autre élément du texte par plusieurs chemins, ou au contraire être difficilement accessible.

Cette lecture met notamment en avant deux éléments essentiels de l’architecture des modèles de langage : le masquage d’attention et les encodages positionnels.

L’attention, une sélection plutôt qu’une lecture linéaire

Les modèles de type Transformer, sur lesquels reposent les LLM, utilisent un mécanisme dit d’attention. À chaque étape, il aide le système à pondérer les éléments du contexte susceptibles d’être utiles. Toutes les relations possibles ne reçoivent donc pas automatiquement le même poids.

Dans les modèles génératifs, le masque d’attention est souvent causal. Concrètement, au moment de prédire un token, le modèle peut s’appuyer sur les éléments précédents, mais pas sur ceux qui suivent. Cette contrainte est indispensable pour générer du texte de gauche à droite. Elle influence toutefois les chemins par lesquels l’information circule dans les différentes couches du réseau.

Les encodages positionnels indiquent où se trouvent les mots

Un modèle doit aussi savoir que les mots ont un ordre. Les phrases « le chat poursuit la souris » et « la souris poursuit le chat » utilisent les mêmes termes, mais leur sens est très différent. Les encodages positionnels fournissent cette information de placement.

Les travaux évoqués par le MIT montrent que ces encodages, combinés au masquage d’attention, peuvent participer au biais de position. Selon les choix de conception, certains liens entre tokens voisins ou éloignés deviennent plus ou moins faciles à exploiter. Dans une architecture profonde, composée de nombreuses couches d’attention, les effets se combinent : un ajustement favorable à un endroit peut être affaibli par les couches suivantes.

Les données d’entraînement comptent aussi

L’architecture ne suffit pas à expliquer tous les comportements d’un modèle. Un LLM apprend à prédire la suite d’un texte à partir de très grands ensembles de données. Il est donc sensible aux régularités présentes dans ces données, y compris à la manière dont l’information est généralement organisée.

Les chercheurs soulignent que les données de formation peuvent influencer l’importance que le modèle accorde aux mots selon leur ordre. Un corpus contient souvent des titres, des en-têtes, des introductions, des conclusions, des listes ou des passages particulièrement structurés. Ces éléments donnent des repères au modèle. Ils peuvent aussi renforcer des habitudes statistiques liées à la position d’une information dans un document.

Cela ne signifie pas qu’un jeu de données particulier provoque mécaniquement le biais, ni qu’il suffirait de déplacer tous les paragraphes pour le faire disparaître. Le phénomène résulte d’une interaction entre l’architecture, les choix d’apprentissage et la structure des textes rencontrés durant l’entraînement. Mais cette constatation est importante : améliorer la fiabilité d’un LLM ne consiste pas seulement à augmenter sa taille ou à élargir sa fenêtre de contexte. La qualité et l’organisation des données comptent également.

Quelles conséquences dans les usages réels ?

Le biais de position devient préoccupant lorsqu’un modèle est employé comme outil de recherche ou d’aide à la décision. Dans l’exemple d’un professionnel du droit examinant un long affidavit, l’assistant peut fournir une réponse plausible tout en passant à côté de la phrase décisive, si celle-ci se trouve dans la zone centrale du document. Le danger ne réside pas uniquement dans une réponse fausse : une réponse incomplète, formulée avec assurance, peut être tout aussi trompeuse.

Les mêmes difficultés peuvent se rencontrer dans plusieurs contextes :

• un assistant médical qui synthétise un dossier long et doit retrouver une donnée dans une section intermédiaire ;
• un outil de programmation chargé d’identifier une dépendance ou une instruction dans une base de code volumineuse ;
• un chatbot d’entreprise qui répond à partir d’une documentation interne répartie sur de nombreux paragraphes ;
• un système de résumé qui doit préserver une exception ou une réserve placée au milieu d’un rapport.

Dans ces situations, le LLM ne devrait pas être considéré comme un moteur de recherche infaillible. Sa réponse doit pouvoir être confrontée au texte d’origine. Cette prudence est d’autant plus importante que les systèmes conversationnels produisent généralement une formulation fluide, y compris lorsqu’ils ont mal pondéré une partie du contexte.

Comment limiter le risque dans un document long ?

Les pistes étudiées par les chercheurs concernent d’abord la conception même des modèles. L’utilisation d’encodages positionnels renforçant les liens entre mots voisins a montré des résultats encourageants pour repositionner l’attention du système. Les chercheurs envisagent aussi d’explorer plus avant les encodages positionnels et des méthodes alternatives de masquage.

Ces leviers techniques devront être évalués avec soin. Un modèle de langage n’est pas une simple succession de réglages indépendants : modifier la manière dont l’attention circule peut améliorer une tâche et créer de nouveaux compromis sur une autre. La profondeur de l’architecture, notamment, peut atténuer l’effet d’un encodage qui semblait utile dans une configuration plus simple.

Du côté des utilisateurs et des concepteurs d’applications, plusieurs précautions pratiques peuvent réduire le risque sans prétendre corriger le modèle lui-même :

• découper les très longs documents en sections cohérentes avant de lancer une recherche ciblée ;
• formuler une requête précise, en demandant le passage exact plutôt qu’un résumé général ;
• vérifier le résultat en consultant le segment de texte concerné ;
• tester un même contenu en changeant la position de l’information importante, afin de détecter une sensibilité excessive ;
• éviter qu’une réponse générée soit la seule base d’une décision à fort enjeu.

Ces pratiques ne remplacent pas une amélioration des architectures. Elles rappellent cependant une règle utile : plus le document est long et plus l’information recherchée est critique, plus le résultat d’un assistant doit être contrôlé.

Ce que cette recherche change dans l’évaluation des LLM

Les performances d’un modèle sont souvent résumées par un score global. Or, le biais de position montre qu’un bon résultat moyen peut masquer des faiblesses importantes. Pour une tâche de récupération d’information, il ne suffit pas de vérifier que le modèle connaît la réponse. Il faut aussi tester s’il la retrouve lorsque sa place change dans le contexte.

L’approche par graphes proposée par les chercheurs offre ici un intérêt particulier. Au lieu de constater seulement que le milieu est moins bien traité, elle cherche à décrire les voies par lesquelles les tokens influencent le résultat. Cette compréhension théorique peut aider à concevoir des évaluations plus exigeantes et des modèles plus robustes.

L’enjeu dépasse le cas d’usage du chatbot. Les assistants de programmation, les outils d’analyse de documents et les systèmes susceptibles d’intervenir dans des applications médicales devront maintenir leur pertinence tout au long d’interactions prolongées. Une IA capable de recevoir un très long contexte, mais incapable d’y retrouver régulièrement le bon élément, demeure limitée pour les tâches critiques.

Ce qu’il faut surveiller

Les prochaines recherches devront préciser l’effet respectif des encodages positionnels, du masquage d’attention, du nombre de couches et des données de formation. La question centrale est simple à formuler, mais difficile à résoudre : comment faire en sorte qu’un modèle traite une information avec une fiabilité comparable, qu’elle apparaisse à la première ligne, au centre ou à la fin d’un document ?

Les progrès sur ce point pourraient améliorer concrètement les chatbots, les systèmes d’IA médicale et les assistants de programmation. Ils pourraient aussi changer la manière de mesurer les modèles : une grande fenêtre de contexte ne devrait plus être jugée uniquement sur le nombre de tokens qu’elle accepte, mais sur la qualité avec laquelle le système utilise l’ensemble de ce contexte.

Pour le public, la leçon est immédiate. Les LLM sont des outils puissants pour explorer, reformuler et synthétiser l’information. Lorsqu’ils doivent retrouver un élément précis dans un texte très long, surtout au cœur du document, leur réponse mérite une vérification attentive. Comprendre cette limite est une condition essentielle pour utiliser ces systèmes avec discernement.