Sujet
Tous les articles d’Actu.ai consacrés à Transformers : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 7 articles
Des chercheurs du MIT ont étudié comment des modèles fondés sur les transformers suivent une succession de changements. Dans une tâche de permutations de chiffres, ils ont repéré deux stratégies de calcul hiérarchiques, dont l’une mène plus vite au résultat. Une piste utile pour comprendre, puis améliorer, le suivi d’états dynamiques.
Les modèles de langage ne comprennent pas les phrases d’un seul coup. Une étude théorique montre qu’un réseau neuronal peut d’abord s’appuyer sur la place des mots, puis basculer brutalement vers leur sens lorsqu’il reçoit assez de données. Un résultat qui éclaire les mécanismes de l’attention au cœur des IA génératives.
Les grands modèles linguistiques ne lisent pas toujours un long document avec la même attention d’un bout à l’autre. Des travaux menés au MIT éclairent un biais de position : une information placée au milieu peut être moins bien retrouvée que si elle figure au début ou à la fin. Un enjeu majeur pour les usages juridiques, médicaux et professionnels.
Mamba propose une autre voie que l’attention dense des transformers : un mécanisme à états conçu pour traiter efficacement de longues séquences. Cette architecture ne condamne pas ChatGPT ou Claude, mais elle éclaire une question centrale pour l’IA : comment retenir davantage d’informations sans faire exploser les calculs ?
Les modèles génératifs écrivent, programment et répondent avec une aisance spectaculaire. Mais une recherche montre que cette fluidité peut masquer une représentation incohérente du réel : dans des tests de navigation et de jeu, de petits changements suffisent à les déstabiliser.
En s’inspirant des grands modèles de langage, des chercheurs du MIT proposent HPT, une architecture conçue pour entraîner des robots à partir de données très diverses. Alimentée par 52 jeux de données et plus de 200 000 trajectoires, elle vise à réduire la dépendance à un apprentissage entièrement recommencé pour chaque nouvelle tâche.
Plutôt que d’entraîner chaque robot séparément pour chaque tâche, des chercheurs du MIT proposent de mutualiser des données très diverses. Leur architecture HPT transforme ces informations en un langage commun et améliore de plus de 20 % les performances observées, en simulation comme sur des robots réels.
