Les lois de mise à l’échelle rendent les grands modèles de langage plus prévisibles

Entraîner un grand modèle de langage ne consiste pas seulement à disposer de beaucoup de puces et de données. Avant même le lancement d’un calcul qui peut coûter plusieurs millions de dollars, une équipe doit trancher des choix difficiles : taille du modèle, architecture, optimiseur, volume et nature des données, durée d’entraînement. Or une mauvaise décision ne se révèle parfois qu’après des semaines de calcul. Les lois de mise à l’échelle cherchent précisément à réduire cette part d’incertitude.

Des chercheurs du MIT et du MIT-IBM Watson AI Lab ont constitué une vaste base de modèles et de mesures pour examiner systématiquement ces lois. Leur objectif est concret : déterminer dans quelle mesure des modèles plus petits, donc moins coûteux, permettent d’anticiper les performances et le coût d’un modèle plus ambitieux. L’étude réunit 485 modèles pré-entraînés appartenant à 40 familles et permet d’ajuster plus de 1 000 lois de mise à l’échelle.

Pourquoi entraîner un LLM est-il un pari coûteux ?

Un modèle de langage de grande taille, ou LLM, apprend en analysant d’immenses quantités de texte. Au fil de cet entraînement, ses paramètres numériques sont ajustés pour réduire ses erreurs de prédiction. Mais il n’existe pas une recette unique pour décider à l’avance de la bonne combinaison entre le nombre de paramètres, le volume de données et la puissance de calcul.

Les laboratoires doivent aussi faire des choix sur l’architecture du réseau, l’optimiseur chargé de modifier ses paramètres et le jeu de données utilisé. Ces décisions ne sont pas de simples détails techniques. Elles peuvent déterminer si un entraînement très onéreux aboutit à un modèle utile ou à un résultat décevant.

Dans ce contexte, entraîner à pleine échelle chaque variante envisagée serait peu réaliste. Les équipes procèdent donc souvent à des essais sur des modèles plus petits. La difficulté est ensuite de savoir si ce que l’on observe à petite échelle restera valable lorsque le modèle, les données et le budget de calcul augmentent fortement.

Comment fonctionne une loi de mise à l’échelle ?

Dans le domaine des LLM, une loi de mise à l’échelle relie généralement les performances d’un modèle à des variables mesurables, telles que le nombre de paramètres, la taille des données d’entraînement ou le coût computationnel. Elle vise souvent à prévoir la perte, c’est-à-dire une mesure de l’écart entre les prédictions du modèle et les réponses attendues pendant l’entraînement.

Plus la perte est faible, plus le modèle a, en principe, appris à bien prédire le texte suivant dans les données observées. Cette mesure ne résume toutefois pas toutes les qualités d’un assistant conversationnel ou d’un outil de génération. C’est pourquoi les chercheurs prennent également en compte des métriques liées aux tâches en aval, autrement dit à des évaluations effectuées après le pré-entraînement.

L’idée centrale est d’observer plusieurs modèles de taille différente, de mesurer leur évolution, puis d’ajuster une courbe ou une formule qui prolonge cette tendance vers une échelle plus élevée. Cela ne remplace pas l’entraînement final, mais peut aider à sélectionner les pistes les plus prometteuses avant d’engager les ressources les plus importantes.

Les différences entre petits modèles utilisées dans ce type d’analyse tiennent notamment au nombre de paramètres et à la taille des données d’entraînement. Pour les équipes disposant de moyens limités, disposer de méthodes reproductibles pour établir de telles lois peut rendre les expérimentations moins dépendantes d’infrastructures gigantesques.

Une collection de 485 modèles pour tester les prédictions

Les travaux du MIT répondent à un manque d’analyse systématique. Jacob Andreas, professeur associé au MIT, souligne que nombre de travaux antérieurs examinaient les résultats une fois les grands modèles déjà entraînés, sans forcément chercher à éclairer les décisions à prendre pendant leur développement.

Pour changer cette approche, l’équipe a rassemblé des informations sur des modèles issus de 40 familles, parmi lesquelles Pythia, OPT, OLMO et LLaMA. Au total, la collection compte 485 modèles uniques pré-entraînés. Elle associe à ces modèles plusieurs types d’informations : leurs checkpoints, leur coût computationnel, leurs mesures de perte et des métriques sur les tâches réalisées en aval.

Un checkpoint est une photographie de l’état d’un modèle à un moment donné de son entraînement. Il enregistre notamment les paramètres déjà appris, sans attendre la fin du calcul. C’est une ressource précieuse, car un unique entraînement peut ainsi fournir plusieurs observations à différentes étapes de progression.

Cette ampleur permet de vérifier si une méthode qui fonctionne sur une série limitée de modèles reste utile lorsqu’elle est confrontée à d’autres architectures ou à d’autres régimes d’entraînement. Il ne s’agit donc pas seulement de dessiner une courbe à partir de quelques expériences, mais de comparer de nombreuses manières de le faire.

Les checkpoints intermédiaires rendent les estimations plus solides

L’un des principaux résultats mis en avant est l’intérêt des modèles partiellement entraînés. Au lieu de ne regarder que l’état final de plusieurs petits modèles, les chercheurs montrent que l’ajout de checkpoints intermédiaires peut augmenter la fiabilité des prédictions.

Cette conclusion est importante sur le plan pratique. Une équipe qui conserve les étapes de son entraînement dispose de davantage de données pour caractériser l’évolution de son modèle. Les étapes intermédiaires d’un modèle déjà entraîné peuvent aussi servir à prédire les performances d’un autre modèle cible. Autrement dit, l’information utile ne se limite pas au résultat final.

Les chercheurs signalent néanmoins une limite nette : les données correspondant au tout début de l’entraînement, avant que 10 milliards de tokens aient été vus par le modèle, sont souvent bruitées. Les inclure dans l’analyse risque donc de dégrader les estimations. Cette prudence rappelle qu’accumuler davantage de mesures ne suffit pas : encore faut-il sélectionner les observations qui reflètent une tendance suffisamment stable.

L’étude identifie aussi une règle de départ simple : un ensemble de cinq modèles de tailles variées peut constituer une base utile pour établir une loi de mise à l’échelle robuste. Ce n’est pas une garantie que cinq expériences répondront à toutes les questions, mais un repère méthodologique pour éviter de fonder une extrapolation sur une série trop restreinte.

Les hyperparamètres ne doivent pas être traités isolément

L’étude met également en évidence de fortes corrélations entre certains hyperparamètres. Les hyperparamètres sont des réglages définis par les concepteurs du système, par opposition aux paramètres que le modèle apprend automatiquement pendant son entraînement. Ils concernent, par exemple, la manière dont l’apprentissage est piloté.

Le constat de corrélations fortes permet de mieux capturer le comportement global des modèles et de standardiser les estimations. Dans un domaine où les expériences peuvent être longues et coûteuses, des conventions partagées pour recueillir et comparer les résultats sont particulièrement utiles.

Il faut toutefois distinguer corrélation et causalité. Observer que plusieurs réglages évoluent ensemble ne signifie pas, à lui seul, qu’un réglage est la cause directe de l’amélioration constatée. La contribution du travail consiste surtout à fournir un cadre permettant de mieux mesurer ces relations et d’évaluer leur pouvoir prédictif à travers de nombreux cas.

Une méthode pour mieux répartir des ressources limitées

Pour un grand laboratoire comme pour une équipe universitaire, le principal intérêt est de rationaliser l’allocation des ressources. Si des essais moins chers permettent d’écarter tôt certaines options, les budgets de calcul peuvent être concentrés sur les configurations les plus plausibles.

L’enjeu est aussi scientifique. Rendre plus accessibles les méthodes de construction des lois de mise à l’échelle peut aider des chercheurs moins bien dotés à formuler des prédictions utiles sans devoir posséder, dès le départ, une infrastructure comparable à celle des acteurs les plus puissants du secteur.

Les estimations restent nécessairement assorties d’une marge d’erreur. Dans les cas les plus précis évoqués par l’étude, l’erreur absolue relative, ou ARE, peut atteindre 4 %. Une erreur allant jusqu’à 20 % peut encore apporter une information utile selon la décision à prendre. La bonne question n’est donc pas seulement de savoir si une prévision est parfaite, mais si elle est assez fiable pour comparer des options et éviter des dépenses mal orientées.

Vers des prédictions sur l’inférence

Les travaux ouvrent enfin une piste qui dépasse le seul entraînement. Jacob Andreas anticipe des découvertes sur l’inférence, c’est-à-dire la phase durant laquelle un modèle déjà entraîné répond à une requête. Mieux comprendre l’évolution du comportement d’un modèle lors de cette exécution pourrait aider à optimiser son temps de réflexion et son adaptation aux besoins des utilisateurs.

Cette perspective mérite une attention particulière, car le coût et la qualité d’un système d’IA ne se jouent pas uniquement lors de sa fabrication. Un modèle peut ensuite être sollicité par un très grand nombre d’utilisateurs. Toute méthode permettant d’arbitrer plus finement entre délai de réponse, ressources mobilisées et résultat produit aurait donc des effets importants sur son usage réel.

Ce qu’il faut surveiller

La portée de ces résultats dépendra de leur capacité à rester fiable au-delà des familles de modèles réunies dans la collection. Les modèles de langage évoluent rapidement, de même que les architectures, les jeux de données et les techniques d’entraînement. Une loi de mise à l’échelle utile doit donc être régulièrement confrontée à de nouvelles expériences, plutôt que considérée comme acquise.

Il faudra également suivre la manière dont ces outils seront employés dans les décisions concrètes de développement. Leur promesse n’est pas de remplacer le jugement des équipes de recherche, mais de le rendre plus informé. À mesure que les coûts des grands modèles augmentent, la capacité à apprendre de petits modèles, de checkpoints intermédiaires et de mesures soigneusement sélectionnées pourrait devenir un avantage déterminant pour concevoir les générations suivantes de LLM.