Mamba, l’architecture qui veut alléger les limites des transformers
Mamba propose une autre voie que l’attention dense des transformers : un mécanisme à états conçu pour traiter efficacement de longues séquences. Cette architecture ne condamne pas ChatGPT ou Claude, mais elle éclaire une question centrale pour l’IA : comment retenir davantage d’informations sans faire exploser les calculs ?























