Mamba, l’architecture qui veut alléger les limites des transformers

Au 15 février 2025, les transformers restent l’architecture de référence des grands modèles de langage. ChatGPT, Claude et de nombreux assistants reposent sur cette famille de réseaux neuronaux, particulièrement efficace pour apprendre les relations entre les mots d’un texte. Mais son mécanisme central, l’attention, devient coûteux lorsque la quantité d’informations à examiner s’allonge. Mamba s’attaque précisément à ce goulot d’étranglement.

Présentée comme une architecture alternative, Mamba ne cherche pas simplement à ajouter de la mémoire à un modèle existant. Elle modifie la manière dont le système conserve et actualise les informations d’une séquence. Son objectif est ambitieux : permettre à l’IA de parcourir de très longs documents, historiques ou flux de données avec une charge de calcul plus régulière que celle de l’attention dense.

Pourquoi les longs contextes posent problème aux modèles de langage

Pour produire une réponse, un modèle de langage découpe le texte en tokens, des unités qui peuvent correspondre à un mot, une partie de mot, une ponctuation ou un caractère selon le découpage utilisé. La fenêtre de contexte désigne l’ensemble des tokens que le modèle peut prendre en compte au moment de générer sa réponse.

Une fenêtre étendue est utile dans de nombreux cas : analyser un rapport volumineux, conserver le fil d’une conversation longue, comparer des contrats, parcourir du code ou exploiter un historique de données. Mais cette capacité ne garantit pas, à elle seule, que le modèle retrouvera la bonne information ni qu’il en tirera une conclusion fiable.

Dans un transformer classique, le mécanisme d’attention met en relation les éléments d’une séquence. Pour chaque token, le modèle évalue quels autres tokens méritent d’être pris en compte. Cette opération est très puissante pour interpréter un mot selon son contexte, par exemple distinguer un « avocat » fruit d’un « avocat » professionnel du droit.

Son revers tient à son coût. Dans sa forme dense, l’attention compare de nombreux couples de positions. Quand la séquence grandit, le nombre de comparaisons augmente très vite, de façon quadratique avec sa longueur. La mémoire nécessaire et le temps de calcul deviennent alors des contraintes concrètes, en particulier pour l’inférence, c’est-à-dire l’utilisation du modèle une fois entraîné.

Il faut aussi corriger une confusion fréquente : un transformer n’est pas un réseau de neurones récurrent, ou RNN. Les RNN traitent traditionnellement une séquence étape après étape en transmettant un état d’un élément au suivant. Le transformer, lui, a notamment gagné en popularité grâce à la parallélisation de ses calculs lors de l’entraînement. Mamba reprend l’idée d’un état qui évolue au fil de la séquence, mais avec une formulation moderne adaptée aux accélérateurs de calcul.

Comment Mamba remplace-t-il l’attention dense ?

Mamba repose sur une famille de techniques appelée modèles à espace d’états, ou SSM pour state space models. Plutôt que de construire une grande matrice d’attention entre tous les tokens, le modèle maintient un état interne compact. À l’arrivée d’un nouveau token, il actualise cet état, qui résume les informations jugées utiles dans l’historique.

La particularité de Mamba est son caractère sélectif. Le système n’applique pas exactement la même mise à jour à toutes les données : il peut ajuster ce qu’il conserve, oublie ou met en avant selon le contenu rencontré. Cette sélectivité est essentielle pour le langage, où toutes les informations d’une phrase n’ont ni la même importance ni la même durée de pertinence.

Didier Gaultier, directeur IA chez Orange Business Digital Services, souligne que cette approche évite le recours systématique au produit matriciel au cœur de l’attention classique. Il ne s’agit pas seulement de réduire une matrice d’attention : Mamba substitue à cette comparaison exhaustive un mécanisme de mise à jour d’état. Le gain recherché est une meilleure vectorisation des calculs et une exécution plus fluide sur du matériel moderne.

L’algorithme est conçu pour faire évoluer cet état avec une complexité linéaire par rapport à la longueur de la séquence. Concrètement, lorsqu’un token est ajouté, l’historique est actualisé au lieu d’être entièrement recomparé à chaque étape. Cette différence est particulièrement intéressante pour les flux très longs.

Jusqu’à un million de tokens : que signifie cette promesse ?

L’argument le plus marquant associé à Mamba est le traitement de contextes pouvant atteindre un million de tokens. Cette échelle illustre l’intérêt des architectures à états pour les séquences longues. Elle ne doit toutefois pas être lue comme une limite générale qui opposerait mécaniquement Mamba à tous les transformers.

D’une part, la fenêtre de contexte dépend toujours d’un modèle précis, de son entraînement, de son matériel et de sa configuration. D’autre part, les architectures transformer ont elles aussi progressé sur les longs contextes. Affirmer qu’elles seraient universellement limitées à 150 000 tokens serait donc réducteur : il n’existe pas un plafond unique valable pour toute la famille des transformers.

Yannick Léo, directeur de la data science chez Emerton Data, met en avant l’intérêt de Mamba et de Samba lorsque le volume de tokens en entrée devient massif. Leur approche peut limiter les surcharges de calcul qui apparaissent avec l’attention dense. Le compromis est clair : conserver l’intégralité des interactions fines entre tous les tokens est coûteux, tandis que résumer l’historique dans un état peut rendre certaines informations locales plus difficiles à récupérer avec précision.

C’est pourquoi la performance sur mémoire courte reste un point d’attention. Dans une demande exigeant de relier très finement deux éléments proches ou éloignés d’un texte, l’attention directe dispose d’un avantage naturel. Les chercheurs ne jugent donc pas ces architectures sur la seule longueur de contexte, mais aussi sur leur capacité à retrouver une information, raisonner, générer du code, résumer ou répondre avec exactitude.

Samba et Jamba : pourquoi les modèles hybrides attirent l’attention

Plutôt que d’opposer frontalement Mamba et les transformers, plusieurs travaux cherchent à combiner leurs forces. Samba, proposé par Microsoft, associe des blocs inspirés de Mamba à des mécanismes d’attention. L’idée est de confier le traitement efficace des longues séquences aux états sélectifs, tout en conservant de l’attention là où les relations locales ou ponctuelles sont importantes.

Cette hybridation répond à une limite pratique : une solution très performante pour la mémoire longue n’est pas nécessairement la meilleure pour chaque détail d’un contexte court. En alternant les mécanismes, Samba vise une meilleure efficacité globale sans abandonner les qualités qui ont fait le succès des transformers.

Il ne faut pas confondre Samba avec Jamba, annoncé par AI21 Labs. Jamba est lui aussi un modèle hybride, combinant des couches de type Mamba et des couches d’attention, avec une architecture de mélange d’experts. Ses tests mettent en avant la possibilité d’un entraînement à grande échelle pour cette approche. Sa fenêtre de contexte annoncée atteint 256 000 tokens, un ordre de grandeur présenté comme environ 200 000 mots. Cette équivalence varie toutefois selon la langue et la manière dont le texte est découpé en tokens.

Ces initiatives confirment une tendance : l’avenir des modèles de langage ne passe pas nécessairement par une architecture unique. Les systèmes peuvent faire coexister plusieurs méthodes de calcul, chacune mobilisée là où elle est la plus utile.

Mamba peut-il remplacer les transformers ?

Pas à court terme, et ce n’est probablement pas la bonne manière de poser la question. Les transformers bénéficient d’un vaste écosystème : outils logiciels, méthodes d’entraînement éprouvées, matériel optimisé, modèles ouverts et expérience industrielle considérable. Ils ont aussi démontré leur capacité à monter en échelle grâce à l’augmentation du nombre de paramètres et des données disponibles.

Les données et la mise à l’échelle demeurent justement un enjeu majeur pour Mamba. Une architecture plus efficiente ne résout pas, à elle seule, la difficulté de réunir des corpus de qualité, de les nettoyer, d’entraîner des modèles robustes et de vérifier leur comportement. La qualité d’un assistant dépend autant de ce travail que de sa structure mathématique.

Les techniques de positionnement telles que RoPE, pour rotary position embedding, ont par ailleurs aidé les transformers à mieux représenter l’ordre des tokens dans des contextes étendus. Elles ne suppriment pas, à elles seules, le coût de l’attention dense, mais elles montrent que les modèles existants continuent d’évoluer face au défi des longues séquences.

Mamba apparaît donc moins comme le successeur automatique des transformers que comme une piste crédible pour diversifier les architectures. Son intérêt est particulièrement fort lorsque l’efficacité de calcul, la latence et le traitement de longs flux comptent autant que la qualité linguistique finale.

Du texte aux contenus multimodaux

Didier Gaultier envisage un développement où texte, images, sons et vidéos seraient représentés dans un espace vectoriel commun. Dans cette perspective, un chatbot ne devrait plus seulement parcourir une conversation écrite : il pourrait rechercher une information dans un document mêlant compte rendu, illustration, enregistrement sonore et extrait vidéo.

Mamba est avant tout associé à la modélisation de séquences, notamment textuelles. Son mécanisme peut, en théorie, intéresser tout problème où des données arrivent sous forme de suites longues. Mais la gestion multimodale complète exige davantage qu’une architecture efficace : elle suppose des jeux de données adaptés, des représentations fiables entre formats et des évaluations solides.

Ce qu’il faut surveiller

Les prochaines étapes ne se joueront pas uniquement sur la taille affichée des fenêtres de contexte. Il faudra observer si les modèles à espace d’états maintiennent leur précision sur des tâches complexes, si les hybrides tiennent leurs promesses de coût et de vitesse, et si les développeurs peuvent les intégrer facilement à leurs outils.

Le principal apport de Mamba est déjà net : il rappelle que l’attention n’est pas la seule façon de traiter le langage à grande échelle. Alors que les besoins en mémoire, en réactivité et en sobriété de calcul augmentent, cette remise en question des architectures dominantes pourrait compter autant que la prochaine course au nombre de paramètres.