Lois de scalabilité : mieux prévoir le coût d’entraînement des grands modèles

En intelligence artificielle, le choix d’un nouveau modèle de langage ressemble souvent à un pari très cher. Faut-il augmenter le nombre de paramètres, prolonger l’entraînement, changer les données ou revoir l’architecture ? Répondre directement à chacune de ces questions en entraînant un modèle complet peut mobiliser des infrastructures considérables. Les lois de scalabilité proposent une autre méthode : mesurer ce qui se passe sur des modèles moins coûteux, puis estimer ce qu’obtiendra un modèle plus grand.

Cette logique est centrale pour les laboratoires comme pour les entreprises qui développent des LLM, ces grands modèles de langage capables de produire et d’analyser du texte. Elle ne promet pas de connaître à l’avance toutes les capacités d’un futur modèle. Elle vise plutôt à réduire l’incertitude sur un point très concret : quel gain de performance est raisonnablement attendu pour un budget de calcul donné ?

Les lois de scalabilité, un outil de prévision pour les LLM

Une loi de scalabilité décrit une relation observée entre la taille ou l’effort d’entraînement d’un modèle et sa performance. Dans le cas des modèles de langage, les variables les plus utiles sont généralement le nombre de paramètres et le volume de tokens utilisés pendant l’entraînement.

Les paramètres sont les valeurs internes ajustées par le modèle au fil de son apprentissage. Ils donnent une indication de sa capacité, sans résumer à eux seuls sa qualité. Les tokens sont les unités de texte traitées par le modèle : il peut s’agir de mots, de morceaux de mots ou de signes de ponctuation selon le découpage retenu. Plus un modèle voit de tokens, plus il dispose d’occasions d’ajuster ses paramètres, mais plus le calcul coûte cher.

La performance est souvent suivie à l’aide d’une mesure appelée « perte ». Sans entrer dans les détails mathématiques, elle évalue à quel point les prédictions du modèle s’écartent du texte attendu pendant l’entraînement. Une perte plus faible traduit, en principe, une meilleure capacité à anticiper la suite d’un texte. Les chercheurs cherchent alors à relier l’évolution de cette perte aux ressources mobilisées.

Le principal intérêt est d’éviter une succession d’essais complets. Au lieu de former plusieurs très grands modèles concurrents jusqu’au bout, une équipe peut entraîner des versions plus petites, relever leurs résultats, ajuster une loi de prévision et choisir la configuration la plus prometteuse. Cette approche est particulièrement utile lorsque les variantes ne diffèrent que sur quelques variables, comme la taille du modèle ou le nombre de tokens vus.

Une base de données couvrant 485 modèles pré-entraînés

Pour tester la solidité de ces prévisions, des chercheurs du MIT et du MIT-IBM Watson AI Lab ont réuni une collection particulièrement vaste. Elle comprend plus de 485 modèles pré-entraînés, issus de 40 familles de modèles différentes. L’objectif n’était pas seulement de comparer des tailles de modèles, mais aussi de documenter les conditions concrètes de leur entraînement.

Les chercheurs ont analysé les coûts de calcul, le nombre d’epochs, soit le nombre de passages complets sur les données d’entraînement, ainsi que 1,9 million de métriques de performance. Cet ensemble leur a permis de modéliser plus de 1 000 lois de scalabilité.

Cette masse d’observations apporte un enseignement important : la variabilité entre les expériences et entre les familles de modèles est plus forte qu’on pourrait l’imaginer. Une règle ajustée sur un seul modèle, ou sur des expériences trop homogènes, risque donc de donner une certitude trompeuse. La diversité des tailles et des trajectoires d’entraînement est une condition de la robustesse.

Comment prévoir un entraînement sans aller jusqu’au bout ?

La méthode repose sur une idée simple : utiliser les performances de modèles plus petits ou les étapes intermédiaires d’un entraînement pour estimer un résultat final. Le modèle à développer est alors appelé le modèle cible. L’équipe ne se contente pas de regarder un score final : elle observe la trajectoire suivie par plusieurs modèles apparentés au fur et à mesure que les données et le calcul augmentent.

Les auteurs recommandent d’abord de fixer deux éléments avant de lancer les expériences : un budget de calcul clair et un niveau de précision attendu pour la prévision. Sans ces repères, il est facile de produire beaucoup de données expérimentales sans savoir si elles répondent réellement à la décision à prendre.

L’étude indique qu’une erreur relative absolue de 4 %, ou ARE, peut constituer un objectif de précision atteignable. L’ARE mesure ici l’écart entre la prévision et le résultat observé, rapporté à ce résultat. Dans de nombreux cas, une marge allant jusqu’à 20 % reste néanmoins assez utile pour départager deux options dont les coûts ou les gains attendus sont très éloignés.

Une autre recommandation consiste à conserver des points de contrôle au cours de l’entraînement. Ces versions intermédiaires du modèle ne sont pas de simples sauvegardes techniques. Elles renseignent sur la vitesse à laquelle la performance s’améliore et enrichissent les données utilisées pour calibrer la loi de scalabilité. Elles peuvent donc rendre les projections plus stables qu’une comparaison limitée aux seuls modèles terminés.

Enfin, si le budget est très contraint, les chercheurs conseillent de former plusieurs petits modèles appartenant à la famille visée, plutôt que de s’appuyer sur une unique expérience. Lorsqu’il est impossible de le faire, les paramètres d’une famille de modèles proche peuvent fournir un point de départ, à condition de considérer l’estimation avec prudence.

Des économies possibles, mais pas une promesse automatique

Les modèles plus volumineux peuvent fournir des prédictions utiles, car ils se rapprochent davantage du comportement du modèle cible. Mais cette stratégie a elle-même un coût. La recherche met donc en évidence un compromis : il faut investir assez dans les expériences préparatoires pour obtenir une projection fiable, sans dépenser une part disproportionnée du budget avant la décision finale.

Une piste consiste à entraîner le modèle cible sur une fraction de ses données, jusqu’à 30 % de son jeu de données d’entraînement, puis à utiliser cette trajectoire partielle pour estimer la suite. Cela peut générer des économies par rapport à l’entraînement complet de nombreux candidats. Il ne s’agit toutefois pas d’affirmer que 30 % suffisent dans tous les cas : la qualité de l’extrapolation dépend de la famille de modèles, des données et de la stabilité des mesures.

Les tout premiers stades de l’entraînement appellent aussi à la vigilance. Les données très précoces, avant 10 milliards de tokens, peuvent être plus bruitées et diminuer la précision de l’ajustement. Retirer ou pondérer avec prudence ces premiers relevés peut donc améliorer la qualité des lois obtenues. Cette précaution illustre une idée essentielle : accumuler des mesures ne suffit pas, encore faut-il savoir lesquelles sont représentatives de la dynamique réelle du modèle.

Pourquoi la famille de modèles est déterminante

Un LLM ne se résume ni à son nombre de paramètres ni à la taille de son corpus. Son architecture, les réglages de l’optimisation et la sélection des données peuvent modifier sa trajectoire d’apprentissage. Deux modèles de taille comparable peuvent donc évoluer différemment si leur conception ou leurs conditions d’entraînement divergent.

C’est pourquoi les lois de scalabilité sont surtout pertinentes lorsqu’elles comparent des modèles suffisamment proches. Dans une même famille, les chercheurs peuvent faire varier systématiquement la taille, le volume de tokens ou certains réglages, puis observer ce qui change. Une prévision obtenue dans ce cadre a plus de chances de rester valable pour le modèle cible.

Cette exigence est aussi une limite utile à connaître. Une loi ajustée sur des modèles entraînés avec un certain type de données ne garantit pas les mêmes résultats après un changement majeur de corpus. De même, un changement d’architecture peut rompre la continuité observée avec les modèles précédents. Pour une équipe de développement, cela signifie que les données historiques doivent être considérées comme un instrument de décision, pas comme une vérité indépendante du contexte.

L’étude rapporte également un résultat contre-intuitif : les lois de scalabilité peuvent servir à prédire la performance de modèles plus petits à partir de modèles plus grands. Cette observation remet en cause l’idée selon laquelle les petits modèles suivraient nécessairement une dynamique fondamentalement différente. Elle ouvre la voie à des comparaisons plus flexibles, tout en renforçant la nécessité de mesurer la variabilité entre les expériences.

Du calcul d’entraînement au temps d’inférence

L’entraînement n’est qu’une partie de l’équation économique d’un modèle. Une fois mis en service, un LLM consomme aussi des ressources à l’inférence, c’est-à-dire lorsqu’il répond réellement à une demande. Le coût total dépend alors du matériel mobilisé, du volume d’utilisations et du temps nécessaire pour produire une réponse.

Les auteurs envisagent d’étendre leur analyse à ces temps d’inférence. Comprendre comment la performance évolue lorsque davantage de temps de calcul est accordé à une requête constitue un enjeu important. De tels travaux pourraient aboutir à des modèles prédictifs sur l’efficacité de mécanismes de réactivation évoqués par les chercheurs, et aider à comparer un entraînement plus coûteux avec une utilisation plus intensive du calcul au moment de répondre.

Cette perspective est importante pour les organisations : un modèle légèrement moins coûteux à entraîner peut devenir plus cher à exploiter à grande échelle, et l’inverse est également possible. Les lois de scalabilité appliquées à l’inférence pourraient donc compléter les prévisions réalisées pendant l’entraînement.

Ce qu’il faut surveiller

Les résultats issus du MIT et du MIT-IBM Watson AI Lab rappellent qu’augmenter mécaniquement la taille d’un LLM n’est pas une stratégie de pilotage suffisante. Dans un contexte où l’entraînement de modèles avancés peut mobiliser des budgets de plusieurs millions de dollars, disposer d’estimations fiables avant le lancement est un avantage concret.

La prochaine étape sera de vérifier la transférabilité de ces méthodes lorsque les architectures, les jeux de données et les objectifs des modèles évoluent rapidement. Il faudra aussi suivre l’extension des analyses à l’inférence, car les coûts de fonctionnement déterminent autant la viabilité d’un système que le coût de sa conception.

Ces travaux ne fixent pas à eux seuls des règles d’utilisation responsable de l’IA. En revanche, une meilleure visibilité sur les ressources réellement nécessaires peut contribuer à des décisions plus transparentes : choix de l’infrastructure, arbitrage entre performance et consommation de calcul, ou évaluation plus réaliste des projets. Pour les équipes qui entraînent des LLM, la valeur des lois de scalabilité tient précisément à cela : transformer une partie de l’incertitude technique en choix budgétaires mieux informés.