Transformer², le LLM de Sakana AI qui adapte ses poids à de nouvelles tâches

Un grand modèle de langage ne sait pas spontanément tout faire. Lorsqu’une entreprise ou un laboratoire veut le spécialiser dans une nouvelle tâche, il faut habituellement le réentraîner, au moins en partie, sur des exemples adaptés. Cette opération, appelée réglage fin, peut être coûteuse et lente. Avec Transformer², la startup japonaise Sakana AI explore une autre voie : permettre au modèle d’ajuster lui-même ses poids lorsqu’il rencontre une tâche nouvelle.

Présentée dans une recherche mise en ligne sur arXiv en janvier 2025, sous la direction de Qi Sun, Edoardo Cetin et Yujin Tang, cette proposition ne décrit pas un assistant grand public disponible tel quel. Elle s’inscrit dans une question de recherche centrale : comment rendre les modèles de langage plus souples sans devoir lancer un nouvel entraînement à chaque changement de besoin ? L’enjeu concerne autant la rapidité d’adaptation que les ressources de calcul mobilisées.

Pourquoi les LLM doivent-ils être adaptés à de nouvelles tâches ?

Un LLM, ou grand modèle de langage, apprend pendant sa phase de pré-entraînement à prédire la suite d’un texte. Ses connaissances et ses capacités sont encodées dans un très grand nombre de paramètres, généralement appelés poids. Ce sont des valeurs numériques qui déterminent, couche après couche, la manière dont le réseau de neurones transforme une instruction en réponse.

Un modèle généraliste peut répondre à une vaste diversité de questions. Mais une tâche précise, par exemple adopter un certain format de réponse, reconnaître une catégorie de requêtes ou suivre les conventions d’un domaine, exige souvent une spécialisation. La méthode classique consiste alors à fournir de nombreux exemples annotés et à modifier les poids du modèle au cours d’un nouvel entraînement. C’est le principe du fine-tuning, ou réglage fin.

Cette méthode a fait ses preuves, mais elle présente plusieurs contraintes :

• il faut réunir des données de qualité, souvent coûteuses à produire ;
• l’entraînement supplémentaire consomme du temps de calcul et de l’énergie ;
• chaque usage ou domaine peut réclamer une version distincte du modèle ;
• des ajustements mal contrôlés risquent d’altérer certaines compétences antérieures.

Il existe déjà des solutions intermédiaires. L’apprentissage en contexte consiste à placer quelques exemples directement dans l’instruction fournie au modèle. Cette technique, souvent désignée par l’expression few-shot learning, ne modifie pas les poids : le modèle s’appuie simplement sur les exemples inclus dans sa fenêtre de contexte. Transformer² ambitionne d’aller plus loin en utilisant les informations reçues pour guider une adaptation des paramètres eux-mêmes.

Transformer², une recherche de Sakana AI sur l’auto-adaptation

Sakana AI décrit Transformer² comme un LLM auto-adaptatif. L’idée est de doter un modèle d’un mécanisme capable d’identifier ce qui doit changer dans son fonctionnement face à une demande inédite, puis d’appliquer un ajustement ciblé. La promesse n’est donc pas qu’un modèle apprenne de tout, sans limites ni contrôle, mais qu’il puisse sélectionner une manière plus pertinente de mobiliser ses paramètres selon la tâche rencontrée.

Cette distinction est importante. Un chatbot ordinaire peut déjà paraître adaptatif lorsqu’il reformule sa réponse après une précision de l’utilisateur. Dans ce cas, il modifie seulement le texte qu’il génère à partir du contexte de conversation. Transformer² s’intéresse à un niveau différent : les valeurs internes qui gouvernent les calculs du modèle, ses poids.

La recherche repose sur un procédé en deux temps. D’abord, le système examine la tâche ou les informations disponibles afin d’en évaluer la nature. Ensuite, il ajuste un système de poids dans le but d’améliorer la réponse produite. Cette logique cherche à éviter un cycle complet de réentraînement pour chaque nouveau besoin.

Le terme « dynamiquement » ne doit toutefois pas être compris comme une garantie d’apprentissage universel et permanent. Le travail de Sakana AI porte sur une méthode d’adaptation dans un cadre expérimental. Il ne signifie pas qu’un LLM peut absorber de manière fiable n’importe quelle information trouvée en ligne, ni qu’il devient exempt d’erreurs, de biais ou de besoins de validation humaine.

Comment la décomposition en valeurs singulières intervient-elle ?

Pour intervenir sur les poids d’un modèle sans les manipuler aveuglément, Transformer² s’appuie notamment sur la décomposition en valeurs singulières, connue sous son sigle anglais SVD. Cette méthode mathématique permet de décomposer une grande matrice de nombres en plusieurs composantes plus faciles à analyser.

Dans un réseau de neurones, de nombreuses opérations reposent sur des matrices. La SVD peut aider à repérer des directions ou des composantes importantes dans ces structures. Appliquée à l’adaptation d’un LLM, elle offre un moyen de concentrer les modifications sur les éléments jugés les plus utiles, plutôt que de retoucher indistinctement l’ensemble des paramètres.

Le second ingrédient mentionné par les chercheurs est l’apprentissage par renforcement. Dans cette famille de méthodes, un système reçoit un signal qui récompense les comportements souhaitables et pénalise ceux qui le sont moins. Le mécanisme est notamment connu du grand public pour son emploi dans certains assistants conversationnels, où des évaluations humaines ou automatisées servent à orienter les réponses.

Ici, l’apprentissage par renforcement sert à guider le comportement d’adaptation du modèle. Autrement dit, Transformer² ne se contente pas de modifier des poids : il cherche à apprendre quelles modifications sont les plus susceptibles d’améliorer sa performance pour un type de tâche donné.

Trois stratégies pour l’adaptation au moment de l’inférence

La recherche décrit trois stratégies mobilisées au moment de l’inférence, c’est-à-dire pendant l’utilisation du modèle. Elles correspondent à différents moyens d’exploiter les informations fournies pour mieux traiter une demande.

La première repose sur l’interaction initiale avec la tâche. Le modèle utilise les éléments de la requête pour déterminer comment répondre de façon appropriée. Cette étape constitue le point de départ de l’adaptation : sans une compréhension minimale de la demande, aucune modification ciblée n’est possible.

La deuxième stratégie joue un rôle de classification. Avant de produire une réponse, le système peut catégoriser la requête afin de sélectionner une manière d’agir plus adaptée. Une même architecture de base n’a en effet pas nécessairement besoin d’être sollicitée de façon identique pour toutes les tâches, qu’il s’agisse de suivre des consignes, de raisonner à partir d’exemples ou de produire un texte dans un format attendu.

La troisième s’appuie sur un petit nombre d’exemples. C’est le principe du few-shot learning : quelques démonstrations suffisent, en théorie, à faire comprendre la structure de la tâche. Dans le cas de Transformer², ces exemples ne servent pas seulement de contexte textuel. Ils participent à l’orientation de l’adaptation dynamique envisagée par le système.

Cette combinaison est intéressante parce qu’elle rapproche deux approches habituellement distinctes. D’un côté, l’instruction et les exemples servent à guider la réponse dans l’instant. De l’autre, une modification interne cherche à mieux configurer le modèle pour cette tâche. Le bénéfice attendu est une plus grande souplesse, sans le coût d’un processus de spécialisation traditionnel.

En quoi cette méthode se distingue-t-elle du réglage fin classique ?

Le réglage fin reste une solution robuste lorsqu’une organisation dispose d’un grand volume de données, d’un objectif stable et de moyens de calcul suffisants. Il permet de spécialiser durablement un modèle pour un domaine ou une tâche. Transformer² ne remet pas nécessairement ce principe en cause : il tente plutôt de répondre aux situations où les demandes changent rapidement, où les exemples sont peu nombreux ou où il serait peu pratique de créer une variante entraînée pour chaque cas.

L’intérêt potentiel est particulièrement clair pour des systèmes confrontés à une succession de tâches hétérogènes. Plutôt que de charger plusieurs modèles spécialisés ou de lancer des entraînements successifs, un même modèle pourrait ajuster son comportement selon le contexte. Cela pourrait simplifier certains usages de l’IA générative et des interfaces homme-machine.

Mais une adaptation des poids au moment de l’inférence soulève aussi des questions techniques. Il faut pouvoir mesurer si l’amélioration observée sur une tâche nouvelle ne dégrade pas les performances sur des tâches plus courantes. Il faut aussi éviter que le modèle se laisse orienter par des exemples erronés, contradictoires ou malveillants. Enfin, la reproductibilité compte : deux adaptations à partir d’informations proches doivent-elles conduire au même résultat ?

Que disent les résultats présentés par Sakana AI ?

Selon la présentation de Sakana AI, les tests montrent que Transformer² peut rivaliser avec d’autres LLM sur des requêtes habituelles tout en faisant preuve d’une plus grande flexibilité face à des situations nouvelles. Le modèle serait ainsi capable de mieux répondre à certaines questions ou tâches qui déconcertent des systèmes moins adaptatifs.

Il faut interpréter cette affirmation avec prudence. Les informations disponibles dans la présentation ne permettent pas, à elles seules, de conclure à une supériorité générale sur tous les modèles, toutes les langues ou tous les usages. Les performances d’un LLM dépendent fortement des jeux d’évaluation, de la nature exacte des tâches, des exemples fournis et des critères retenus pour juger une bonne réponse.

Cette réserve n’enlève pas l’intérêt de la piste étudiée. Dans le domaine des modèles de langage, le défi n’est plus seulement d’augmenter la taille des systèmes ou la quantité de données d’entraînement. Il consiste aussi à concevoir des modèles capables de se configurer plus efficacement pour un besoin précis, avec moins de calculs supplémentaires.

L’aspect énergétique est souvent mis en avant dans ce type de démarche. Si un système évite effectivement des cycles d’entraînement additionnels, il peut réduire les ressources nécessaires à la spécialisation. Toutefois, la recherche citée ne fournit pas ici de mesure chiffrée permettant de comparer précisément son coût énergétique à celui d’un réglage fin classique. L’avantage doit donc être vu comme une possibilité à évaluer, non comme un gain déjà quantifié.

Ce qu’il faut surveiller pour juger cette piste

Transformer² illustre une évolution possible des LLM : passer de modèles statiques, adaptés occasionnellement par de longues phases d’entraînement, à des systèmes plus capables de se reconfigurer face à une demande. Pour que cette perspective quitte le cadre expérimental, plusieurs points devront être établis.

D’abord, les résultats devront être reproduits sur des tâches plus diverses, avec des protocoles transparents et des comparaisons équitables avec le réglage fin, l’apprentissage en contexte et d’autres méthodes d’adaptation. La capacité du modèle à préserver ses compétences initiales après une adaptation constitue également un critère décisif.

Ensuite, la sécurité devra être étudiée avec attention. Un modèle qui ajuste son comportement à partir d’exemples reçus pourrait être plus exposé aux consignes trompeuses ou aux données de mauvaise qualité. La possibilité de contrôler, d’auditer et, si nécessaire, d’annuler les ajustements sera essentielle pour des usages professionnels.

Enfin, l’efficacité réelle dépendra du rapport entre les gains de performance et le coût informatique de l’adaptation. L’objectif de Transformer² est séduisant : un LLM moins dépendant de lourds réentraînements pour aborder des tâches nouvelles. La démonstration, elle, devra se poursuivre au-delà de cette publication de janvier 2025, à travers des évaluations solides et des applications concrètes.