Les LLM trop entraînés deviennent plus difficiles à ajuster, selon une étude

Pendant longtemps, l’intuition semblait simple : plus un grand modèle de langage lit de textes durant son entraînement, plus il devient compétent. Cette règle a largement nourri la course aux jeux de données gigantesques et aux infrastructures de calcul. Mais une étude mise en ligne sur arXiv par des chercheurs de Carnegie Mellon, Stanford, Harvard et Princeton suggère qu’il existe une limite : au-delà d’un certain volume, poursuivre l’entraînement peut rendre un modèle moins performant et surtout plus difficile à adapter à des tâches concrètes.

Les auteurs nomment ce phénomène l’« overtraining catastrophique », que l’on peut traduire par surentraînement catastrophique. Le terme ne signifie pas qu’un modèle cesse brutalement de fonctionner. Il décrit plutôt une dégradation mesurable : des gains attendus n’apparaissent plus, certains résultats baissent, et l’étape d’ajustement ultérieure devient plus délicate. À l’heure où les laboratoires consacrent des moyens considérables à entraîner des modèles sur toujours plus de tokens, cette observation appelle à distinguer quantité d’entraînement et qualité finale.

Pourquoi le nombre de tokens est-il si important ?

Un token est une unité de texte manipulée par un modèle de langage. Il peut correspondre à un mot, à une partie de mot ou à un signe de ponctuation. Durant le pré-entraînement, le modèle examine d’immenses quantités de tokens afin d’apprendre à prédire la suite d’une séquence. C’est ainsi qu’il acquiert des régularités linguistiques, des connaissances générales et des capacités de raisonnement qui seront ensuite évaluées par différents tests.

Dans le cas étudié, les chercheurs ont travaillé sur OLMo-1B, un modèle comptant environ un milliard de paramètres. Ils ont comparé deux versions ayant reçu des volumes de pré-entraînement différents : l’une sur 2,3 trillions de tokens, soit 2 300 milliards de tokens, l’autre sur 3 trillions, soit 3 000 milliards.

L’enjeu ne consiste donc pas à savoir si entraîner un modèle est utile. Il l’est évidemment. La question est beaucoup plus précise : une fois atteint un certain niveau d’apprentissage, continuer à exposer le modèle à des données lui apporte-t-il encore un bénéfice net, ou modifie-t-il son comportement d’une manière qui nuit à son adaptation ?

Les résultats observés sur OLMo-1B

Les auteurs ont mesuré les effets de ces deux volumes d’entraînement à l’aide de plusieurs bancs d’essai, notamment ARC et AlpacaEval. Ces évaluations ne mesurent pas exactement la même chose : l’une sert à tester certaines capacités de raisonnement, tandis que l’autre compare la qualité des réponses produites dans un cadre conversationnel. Leur intérêt est de ne pas se limiter à un indicateur unique.

Le constat rapporté est contre-intuitif : le modèle entraîné plus longtemps n’obtient pas systématiquement de meilleurs résultats. Selon les évaluations, il peut se révéler jusqu’à 3 % moins performant que la version arrêtée plus tôt.

Cette baisse ne doit pas être lue comme une loi universelle applicable à tous les modèles et à toutes les configurations. L’étude porte sur un modèle et sur un protocole de recherche précis. Elle remet néanmoins en cause une hypothèse pratique répandue : celle selon laquelle un entraînement plus long constituerait, à lui seul, une amélioration fiable.

Le fine-tuning, point sensible des modèles trop entraînés

La conséquence la plus importante ne se situe pas nécessairement dans les scores initiaux. Elle concerne la capacité d’un modèle à être ajusté après son pré-entraînement. Cette phase, souvent désignée par le terme anglais fine-tuning, est essentielle dans les usages réels de l’intelligence artificielle.

Une entreprise peut vouloir spécialiser un modèle pour répondre à ses clients. Une équipe médicale ou juridique peut souhaiter l’adapter à un vocabulaire professionnel. Un éditeur peut chercher à améliorer le respect d’instructions précises. Dans chacun de ces cas, les développeurs appliquent un nouvel entraînement ciblé, beaucoup plus limité que le pré-entraînement d’origine.

Or les chercheurs observent qu’après un certain seuil, le modèle devient davantage vulnérable à ce type d’ajustement. Le modèle très entraîné paraît perdre une partie de sa souplesse : de petites modifications durant le fine-tuning risquent plus facilement d’altérer des capacités acquises auparavant ou de conduire à une baisse de qualité sur les tests généraux.

Les auteurs décrivent un point d’inflexion. Avant ce point, ajouter des tokens peut améliorer le modèle ou au moins consolider ses acquis. Après ce point, le bénéfice se réduit et la fragilité augmente. L’idée centrale est donc celle d’un compromis : maximiser le volume de données ne revient pas forcément à maximiser l’utilité d’un modèle pour les utilisateurs finaux.

En quoi ce phénomène diffère-t-il du surapprentissage classique ?

Le mot « surentraînement » peut évoquer le surapprentissage, ou overfitting, un problème bien connu en apprentissage automatique. Dans ce cas classique, un système mémorise trop précisément les exemples utilisés pour son entraînement et généralise mal face à de nouvelles données. L’« overtraining catastrophique » étudié ici recouvre une inquiétude plus spécifique.

Il ne s’agit pas seulement de vérifier qu’un modèle échoue sur des données inconnues. Les auteurs s’intéressent aussi à son comportement lorsqu’on tente de le modifier après le pré-entraînement. Le modèle peut continuer à afficher de bonnes capacités générales tout en devenant difficile à orienter vers une tâche nouvelle sans effets indésirables.

Cette nuance est déterminante. Les modèles de langage ne sont pas conçus pour rester figés après leur formation initiale. Ils sont généralement adaptés, sécurisés, alignés sur des instructions ou spécialisés. Un modèle dont la performance brute serait élevée, mais qui réagirait mal à ces opérations, serait moins intéressant en pratique qu’un modèle légèrement moins ambitieux mais plus stable.

Le test du bruit gaussien pour éprouver la fragilité

Pour examiner leur hypothèse, les chercheurs n’ont pas seulement comparé deux durées d’entraînement. Ils ont aussi introduit du bruit gaussien dans certaines configurations. En termes simples, cela consiste à injecter de petites perturbations aléatoires, distribuées selon une loi statistique courante, afin de tester la robustesse du système.

Cette technique ne sert pas à améliorer directement le modèle. Elle agit comme une épreuve de résistance. Si de faibles perturbations entraînent une forte variation des résultats, c’est que le modèle est devenu sensible. Dans cette étude, l’ajout de bruit a produit des effets analogues à ceux constatés après un entraînement trop poussé.

Ces essais renforcent l’idée qu’une sensibilité progressive des modèles constitue le mécanisme central du phénomène observé. Plus le nombre de tokens augmente après le point d’inflexion, plus certains ajustements ou perturbations peuvent avoir de conséquences disproportionnées. C’est précisément ce qui rend le fine-tuning plus complexe : il devient plus difficile de corriger ou de spécialiser le modèle sans perturber son équilibre.

Il convient toutefois de conserver une lecture prudente. Une prépublication sur arXiv permet de partager rapidement des résultats avec la communauté scientifique, mais elle ne constitue pas à elle seule une validation définitive. D’autres équipes devront tester le phénomène avec des tailles de modèles, des corpus, des architectures et des méthodes d’ajustement différents.

Quelles conséquences pour les laboratoires d’IA ?

Le premier enseignement est économique autant que scientifique. Entraîner un modèle de langage plus longtemps mobilise du matériel de calcul, de l’électricité, des données et du temps. Si une partie de cet effort n’améliore pas le résultat, voire le dégrade, déterminer le bon moment pour arrêter l’entraînement devient un enjeu majeur.

Les concepteurs disposent, à la lumière de ces travaux, de deux pistes générales :

• identifier un volume d’entraînement optimal, en suivant non seulement les performances générales, mais aussi la facilité de fine-tuning et la robustesse du modèle ;
• développer des méthodes qui élargissent l’espace d’entraînement, c’est-à-dire des techniques permettant de poursuivre l’apprentissage sans provoquer la même fragilité.

Cela suppose d’élargir la manière dont les modèles sont évalués. Un benchmark final, mesuré avant tout ajustement, ne suffit pas nécessairement. Les laboratoires pourraient aussi mesurer la façon dont un modèle se comporte après une spécialisation, sa résistance à de légères perturbations et la stabilité de ses capacités initiales.

Pour les organisations qui déploient de l’IA, le résultat rappelle également qu’un modèle récent ou très longuement entraîné n’est pas automatiquement le meilleur choix. La qualité d’un système dépend de la tâche visée, des données disponibles pour l’ajuster, des contraintes de sécurité et de la stabilité recherchée.

Ce qu’il faut surveiller

Cette étude ouvre une question plus vaste pour la recherche sur les grands modèles de langage : les lois de mise à l’échelle, selon lesquelles augmenter les données et le calcul améliore les capacités, ont-elles des limites liées à l’adaptabilité des systèmes ? Les réponses ne viendront pas d’un seul modèle ni d’une seule série de tests.

Il faudra notamment vérifier si le même point d’inflexion apparaît sur des modèles plus grands, avec d’autres jeux de données et lors de formes d’ajustement variées. Il sera aussi important de comprendre si certaines méthodes de pré-entraînement ou de régularisation permettent de préserver la souplesse du modèle plus longtemps.

À court terme, le message est clair : dans l’IA générative, davantage n’est pas toujours synonyme de mieux. La performance d’un LLM ne se résume ni à la taille de son corpus ni à la durée de son entraînement. Sa capacité à rester fiable, modifiable et utile après sa formation initiale compte tout autant.