Transformer², le LLM de Sakana AI qui adapte ses poids à de nouvelles tâches
Sakana AI présente Transformer², un modèle de langage conçu pour ajuster dynamiquement certains de ses poids face à une tâche nouvelle. Publiée en janvier 2025, cette recherche explore une alternative au réglage fin classique, en combinant décomposition mathématique, apprentissage par renforcement et adaptation à partir de quelques exemples.






