PASTA : des modèles d’IA accélèrent les réponses complexes en répartissant le travail

Lorsqu’un assistant conversationnel semble réfléchir avant de répondre, ce délai ne vient pas seulement de la taille de la question posée. Il tient aussi à la manière dont les grands modèles de langage fabriquent leur texte. Dans leur fonctionnement habituel, ils avancent pas à pas : un mot, ou plus exactement une unité de texte appelée token, est généré à partir de ce qui précède. Cette mécanique produit des réponses cohérentes, mais elle devient coûteuse en temps dès qu’il faut rédiger une explication structurée, une analyse détaillée ou une réponse comportant plusieurs volets.

Des chercheurs associés au MIT et à Google proposent une autre voie avec PASTA, pour Parallel Structure Annotation. L’idée est simple dans son principe : plutôt que de traiter toute une réponse comme une file unique, le modèle apprend à distinguer les morceaux qui peuvent être écrits indépendamment les uns des autres. Ces morceaux peuvent alors être décodés en parallèle. L’objectif n’est pas de faire répondre l’IA avant qu’elle ait compris la demande, mais de raccourcir le temps nécessaire à la production finale du texte.

Pourquoi les modèles de langage répondent-ils mot après mot ?

Les grands modèles de langage, ou LLM, sont généralement dits autoregressifs. À chaque étape, ils évaluent les suites de texte les plus plausibles compte tenu de la consigne et de tous les éléments déjà produits. Pour écrire une phrase, le modèle doit donc choisir un premier token, puis s’appuyer sur ce token pour sélectionner le suivant, et ainsi de suite.

Ce choix d’architecture explique en grande partie la fluidité apparente d’un texte généré. Il garantit qu’une fin de phrase tient compte de son début et qu’un paragraphe peut reprendre une idée introduite auparavant. Mais il crée aussi une dépendance forte entre les étapes : tant qu’un élément n’a pas été produit, les suivants ne peuvent normalement pas l’être.

Pour une réponse courte, ce fonctionnement est rarement perceptible. En revanche, la latence s’accumule lorsqu’un utilisateur demande, par exemple, de comparer plusieurs solutions, de résumer un document complexe ou de fournir un plan détaillé accompagné d’explications. Le problème devient particulièrement visible dans les services qui doivent répondre à de très nombreux utilisateurs ou dans les usages où quelques secondes d’attente dégradent l’expérience.

PASTA, une méthode pour détecter les parties indépendantes d’une réponse

PASTA cherche à rendre cette parallélisation plus souple que les méthodes fondées sur des règles prédéfinies. Au lieu d’imposer au modèle une structure rigide, la méthode lui apprend à reconnaître lui-même les possibilités de découpage dans le texte qu’il s’apprête à générer.

Son fonctionnement repose sur deux éléments. Le premier, PASTA-LANG, est un langage d’annotation. Il permet au modèle de signaler les parties d’une réponse qui peuvent être produites de manière simultanée. Le second est un interpréteur chargé de lire ces annotations et de coordonner le décodage parallèle.

Prenons une réponse qui doit expliquer séparément les avantages, les limites et les usages d’une technologie. Une part de ces sections peut être préparée sans attendre que toutes les autres soient entièrement rédigées. À l’inverse, une phrase qui annonce une conclusion à partir d’une démonstration précédente devra rester liée à ce qui a déjà été généré. PASTA ne supprime donc pas les dépendances nécessaires à la cohérence du texte : il tente de n’accélérer que les zones où elles sont suffisamment faibles.

Cette logique est qualifiée d’apprentissage asynchrone. Le terme ne désigne pas seulement l’exécution de plusieurs calculs à la fois. Il renvoie au fait que les éléments d’une réponse ne sont plus tous contraints d’avancer au même rythme ni selon un ordre unique. Le modèle et l’interpréteur peuvent exploiter les occasions de parallélisme au moment de l’inférence, c’est-à-dire lorsque le système répond effectivement à une demande.

En quoi cette approche se distingue-t-elle des tentatives précédentes ?

Accélérer le décodage des LLM est un sujet de recherche actif. Certaines approches de décodage spéculatif font intervenir un modèle plus rapide pour proposer une suite de texte que le modèle principal vérifie ensuite. Cette stratégie peut raccourcir le délai de génération dans certaines conditions, mais son efficacité dépend notamment du taux auquel les propositions sont acceptées par le modèle chargé de les contrôler.

D’autres travaux se sont appuyés sur des structures de réponse plus explicites. Les méthodes inspirées de Skeleton-of-Thought, par exemple, peuvent commencer par établir une sorte d’ossature avant de développer plusieurs sections. Leur intérêt est de rendre visible l’organisation d’une réponse longue. Leur limite est qu’une structure fixée à l’avance peut manquer des occasions de parallélisation ou, au contraire, découper trop tôt des éléments qui devraient rester dépendants les uns des autres.

PASTA mise sur une stratégie différente : l’annotation de la structure parallèle est intégrée à ce que le modèle apprend à produire. Cette flexibilité est centrale, car les réponses d’un assistant ne suivent pas toujours le même plan. Une explication scientifique, une synthèse de réunion et une réponse au service client n’ont ni la même forme ni les mêmes dépendances internes.

Quels gains de vitesse sont annoncés ?

Les expériences rapportées avec PASTA font état d’une vitesse de génération proche du double pour les réponses produites, tout en maintenant une qualité considérée comme acceptable. Ce résultat est important, car une accélération n’a de valeur pratique que si le texte reste utile, lisible et conforme à la demande initiale.

Il faut toutefois interpréter ce type de gain avec prudence. Le temps de réponse perçu par un utilisateur ne dépend pas uniquement du décodage du texte. Il inclut aussi le traitement de la requête, les mécanismes de sécurité éventuellement appliqués, la charge des serveurs, le réseau et l’affichage dans l’interface. Une méthode plus rapide au niveau de la génération peut donc améliorer l’expérience sans nécessairement diviser par deux le temps total affiché à l’écran dans toutes les situations.

Les performances peuvent également varier selon la longueur des réponses et leur structure. Une demande très courte offre peu de matière à paralléliser. À l’inverse, une requête nécessitant plusieurs sections relativement autonomes peut fournir davantage d’occasions de répartir le travail. L’intérêt de PASTA paraît ainsi particulièrement lié aux productions longues ou composées de plusieurs sous-tâches.

Une accélération qui peut aussi réduire les coûts

La rapidité est un enjeu de confort pour les utilisateurs, mais aussi un sujet économique et technique. Servir une longue réponse de LLM mobilise des ressources de calcul pendant toute la durée du décodage. Réduire cette durée peut aider les fournisseurs de services à traiter davantage de requêtes avec une même infrastructure, ou à proposer des interactions plus réactives dans des outils exigeants.

Les applications concernées sont nombreuses. Dans un assistant de support client, une réponse lente peut conduire l’utilisateur à reformuler sa question ou à abandonner son parcours. Dans la recherche documentaire, un délai prolongé rend les échanges successifs moins naturels. Dans un environnement professionnel, la génération d’un compte rendu, d’un brouillon ou d’une explication technique gagne en intérêt si elle s’intègre au rythme du travail humain.

La baisse de la latence pourrait également faciliter l’usage de modèles avancés dans des scénarios interactifs. Cela ne dispense pas de vérifier les réponses produites, en particulier dans les domaines où une erreur peut avoir des conséquences importantes. Mais une IA plus rapide peut rendre les outils existants moins frustrants, à condition que ce gain n’entraîne pas une perte de précision, de nuance ou de contrôle.

Les limites à ne pas oublier

La parallélisation du texte pose un défi évident : une réponse n’est pas seulement une juxtaposition de blocs indépendants. Son raisonnement, ses références internes et ses transitions doivent former un ensemble cohérent. Si le découpage est mal choisi, le modèle risque de répéter la même information dans plusieurs sections, de créer des contradictions ou de tirer une conclusion qui ne correspond pas au développement final.

C’est pourquoi PASTA accorde une place importante à l’identification dynamique des segments réellement indépendants. Une accélération obtenue au prix d’un texte désordonné aurait peu d’intérêt pour les utilisateurs. Les résultats évoqués montrent qu’il est possible d’améliorer la vitesse tout en conservant une qualité acceptable dans les évaluations réalisées, mais ils ne permettent pas de conclure que la méthode conviendra de façon identique à tous les modèles, toutes les langues et tous les types de requêtes.

L’intégration dans des produits grand public soulève aussi des questions d’ingénierie. Il faut pouvoir faire fonctionner le langage d’annotation et son interpréteur avec les modèles déjà déployés, mesurer les gains réels en situation de charge, puis s’assurer que les mécanismes de modération et de sécurité restent compatibles avec une production plus fragmentée. Entre un résultat expérimental et une fonctionnalité disponible à grande échelle, plusieurs étapes restent nécessaires.

Ce qu’il faut surveiller

Les travaux autour de PASTA illustrent une évolution importante de l’IA générative : l’innovation ne porte plus seulement sur la taille des modèles ou sur leurs résultats à des tests de connaissances. Elle concerne aussi l’efficacité avec laquelle ces modèles utilisent les ressources informatiques au moment de répondre.

La prochaine question sera celle de la généralisation. Il faudra observer si ce type d’annotation parallèle fonctionne avec des réponses très longues, des conversations comportant un vaste historique, des langues aux structures différentes et des tâches demandant un raisonnement fortement séquentiel. Il sera aussi utile de comparer les gains de PASTA à ceux des autres techniques d’accélération, notamment lorsque les systèmes doivent garantir stabilité, sécurité et qualité.

Pour les utilisateurs, l’enjeu est concret : des assistants capables de traiter des demandes complexes sans imposer de longues attentes. Pour les concepteurs de modèles, il s’agit de démontrer que l’on peut accélérer la génération sans sacrifier ce qui fait la valeur d’une réponse, sa cohérence, sa pertinence et sa fiabilité.