Samsung : un modèle de 7 millions de paramètres défie les géants du raisonnement

Un modèle d’intelligence artificielle n’a pas nécessairement besoin de dizaines ou de centaines de milliards de paramètres pour résoudre certains problèmes difficiles. C’est la thèse que vient étayer le Tiny Recursive Model, ou TRM, présenté dans une recherche menée chez Samsung. Avec 7 millions de paramètres, ce réseau très compact obtient des résultats remarquables sur des tests de raisonnement structurés, notamment des grilles de Sudoku, des labyrinthes et ARC-AGI.

La démonstration mérite toutefois d’être lue pour ce qu’elle est. Le TRM ne vise pas à remplacer un assistant généraliste capable de rédiger, dialoguer ou synthétiser une grande variété de connaissances. Il s’attaque à une autre question, essentielle pour la recherche en IA : comment faire raisonner un système de façon plus fiable lorsqu’il doit enchaîner plusieurs étapes, sans multiplier indéfiniment la taille du modèle et les ressources de calcul ?

Le Tiny Recursive Model, une expérience à contre-courant

Depuis plusieurs années, une grande partie des progrès des grands modèles de langage, les LLM, repose sur une recette connue : davantage de données, davantage de puissance de calcul et davantage de paramètres. Les paramètres sont les valeurs numériques ajustées pendant l’entraînement et qui permettent au réseau de repérer des régularités dans les données. Leur nombre est souvent devenu un indicateur spectaculaire de la puissance supposée d’un modèle.

Le TRM prend le chemin inverse. Développé dans les travaux d’Alexia Jolicoeur-Martineau chez Samsung, il repose sur un réseau de neurones simple et compact, avec seulement 7 millions de paramètres. Cette échelle représente, selon la recherche, moins de 0,01 % de celle des modèles les plus volumineux du marché.

L’idée n’est pas de prétendre qu’un petit réseau peut tout faire mieux qu’un LLM. Elle consiste à montrer qu’une architecture bien adaptée à une famille de problèmes peut rivaliser avec, voire dépasser, des systèmes plus lourds sur ces tâches précises. Le contraste est particulièrement intéressant dans des exercices où il faut trouver une règle, vérifier une hypothèse, repérer une incohérence, puis corriger sa solution.

Pourquoi la récursivité peut aider une IA à mieux raisonner

Le cœur du TRM est un mécanisme de raisonnement récursif. Au lieu de produire une réponse et de s’y tenir, le modèle prend en compte le problème initial, une réponse provisoire et un état interne représentant son raisonnement. Il peut alors réexaminer sa proposition, l’ajuster, puis recommencer.

Cette boucle peut se répéter jusqu’à 16 fois. Dans un problème de Sudoku ou de labyrinthe, cette démarche a un intérêt intuitif : une erreur commise au début peut contaminer toutes les étapes suivantes. Disposer d’un mécanisme qui revient sur la solution intermédiaire donne au modèle l’occasion de détecter une contradiction et de réviser son choix avant de livrer sa réponse finale.

Les LLM génèrent généralement du texte séquence par séquence. Ils peuvent bien sûr produire des raisonnements en plusieurs étapes, mais une réponse erronée formulée très tôt risque ensuite d’orienter le reste de la génération. La recherche de Samsung tente de réduire ce problème non pas en allongeant indéfiniment la réponse, mais en donnant au réseau une procédure interne de révision.

Cette approche s’appuie sur une distinction importante. Un modèle ne devient pas forcément meilleur parce qu’il dispose d’une immense mémoire statistique. Pour des problèmes très formalisés, il peut être plus utile de lui fournir une manière robuste d’explorer, de vérifier et d’améliorer une hypothèse. C’est précisément l’objectif du TRM.

Des résultats nets sur Sudoku-Extreme et Maze-Hard

Les résultats annoncés sont particulièrement visibles sur deux jeux d’évaluation exigeants. Sur Sudoku-Extreme, le TRM atteint 87,4 % de précision, contre 55 % pour le Hierarchical Reasoning Model, ou HRM, son prédécesseur cité dans la recherche. Sur Maze-Hard, consacré à la résolution de labyrinthes complexes, le TRM obtient 85,3 %.

Ces chiffres ont un intérêt scientifique car les puzzles de ce type ne se résolvent pas bien par simple restitution d’informations mémorisées. Le système doit identifier une contrainte, déduire les conséquences de ses choix et conserver une solution cohérente. Dans un Sudoku, une valeur incompatible avec une ligne, une colonne ou un bloc doit être écartée. Dans un labyrinthe, le chemin trouvé doit réellement relier le point de départ à l’arrivée sans traverser les murs.

ARC-AGI pousse cette logique plus loin. Ce benchmark propose des transformations visuelles sous forme de grilles. À partir de quelques exemples, le modèle doit inférer la règle qui relie une entrée à une sortie et l’appliquer à un nouvel exemple. Il est souvent mobilisé pour évaluer la capacité d’un système à généraliser au-delà de motifs familiers.

Ce que ces benchmarks prouvent, et ce qu’ils ne prouvent pas

Les performances du TRM ne doivent pas être confondues avec une preuve qu’un modèle de 7 millions de paramètres est globalement supérieur aux plus grands LLM. Les tests cités sont conçus autour de problèmes structurés, avec des règles formelles et une réponse vérifiable. Ce cadre convient particulièrement bien à une architecture qui révise plusieurs fois une proposition.

Un assistant conversationnel généraliste fait face à un champ autrement plus large : compréhension de consignes ambiguës, rédaction dans plusieurs registres, mobilisation de connaissances variées, traduction, programmation, analyse de documents ou dialogue suivi. Il est donc trompeur de réduire le débat à l’opposition entre « petit » et « grand » modèle.

L’apport de la recherche est plutôt de rappeler qu’il existe plusieurs voies vers de meilleures performances. Pour certains usages, un système spécialisé et compact peut être préférable à un modèle généraliste très coûteux. Pour d’autres, la largeur des connaissances et la polyvalence d’un grand modèle resteront déterminantes.

Le rôle du mécanisme ACT dans l’entraînement

La conception du TRM comporte aussi un mécanisme adaptatif appelé ACT. Son rôle est de déterminer à quel moment le modèle peut passer à un nouvel exemple de données. Autrement dit, le système ne traite pas nécessairement chaque situation selon un schéma rigide et identique : il ajuste son processus pour éviter des calculs inutiles tout en préservant la qualité de la généralisation.

Selon la recherche, ce changement permet de supprimer le besoin d’un second passage dans le processus d’entraînement, sans dégrader la capacité finale du modèle à résoudre de nouveaux cas. C’est un élément important, car l’efficacité d’un modèle ne se joue pas uniquement à son nombre de paramètres. Elle dépend aussi du volume de données, du temps d’entraînement, de la mémoire mobilisée et du calcul requis à chaque utilisation.

Une architecture plus petite ne garantit donc pas automatiquement une consommation énergétique plus faible. Un système qui effectue de nombreuses itérations peut demander davantage de calcul qu’un modèle plus direct sur certaines tâches. Mais la piste explorée par Samsung vise précisément à trouver un compromis entre la taille du réseau et la qualité du raisonnement, plutôt que de faire reposer les progrès sur la seule expansion du modèle.

Ce qu’il faut surveiller pour la suite

Le Tiny Recursive Model ouvre plusieurs questions importantes pour la recherche en IA. La première concerne la généralisation : son mécanisme de révision conserve-t-il son efficacité sur des problèmes plus variés, moins structurés ou plus proches des besoins réels des entreprises et du grand public ? Les futurs tests devront notamment évaluer sa robustesse lorsque les consignes sont incomplètes, ambiguës ou éloignées des jeux de données d’entraînement.

La deuxième concerne la complémentarité. Les petits modèles spécialisés pourraient être associés à de grands modèles généralistes. Un LLM pourrait comprendre une demande formulée en langage naturel, puis déléguer un calcul, une vérification logique ou une optimisation à un module compact entraîné pour cette tâche. Cette organisation permettrait de ne pas mobiliser un modèle massif à chaque étape.

Enfin, cette recherche remet l’efficacité au centre du débat. Alors que l’IA exige des infrastructures de calcul toujours plus importantes, la capacité à résoudre un problème avec moins de paramètres, moins de données ou un entraînement plus simple devient un enjeu technique et économique majeur. Le TRM n’enterre pas les grands modèles de langage. Il démontre en revanche que la prochaine avancée pourrait venir autant de l’architecture et de la méthode de raisonnement que de la course aux dimensions.