s1 : des chercheurs entraînent un modèle de raisonnement pour moins de 50 $

Faut-il nécessairement disposer de milliards de dollars et de vastes centres de données pour créer une IA capable de résoudre des problèmes étape par étape ? Une équipe de chercheurs affiliés à l’université Stanford et à l’université de Washington apporte, au 9 février 2025, une réponse plus nuancée. Son modèle baptisé s1 a été entraîné pour moins de 50 dollars afin de produire des raisonnements détaillés avant de répondre.

Le résultat est frappant, surtout dans un contexte où les annonces de Google, OpenAI ou DeepSeek mettent en avant des modèles toujours plus coûteux à concevoir. Mais le chiffre doit être lu avec précision : s1 n’est pas une IA créée de zéro pour le prix d’un repas au restaurant. Il s’agit d’une adaptation particulièrement efficace d’un grand modèle déjà existant, nourrie par les raisonnements d’un autre système très avancé. C’est cette distinction qui rend la recherche à la fois intéressante et plus réaliste.

Ce qu’est le modèle s1

Le nom complet du principal modèle présenté est s1-32B. Il appartient à une catégorie devenue centrale dans la course à l’IA générative : les modèles de raisonnement. Au lieu de livrer immédiatement une réponse, ces systèmes sont entraînés à dérouler une suite d’étapes intermédiaires, notamment pour les mathématiques, la programmation ou les questions scientifiques complexes.

Cette approche est parfois comparée à un brouillon de résolution. Lorsqu’un problème demande plusieurs opérations, le modèle peut examiner les données, formuler des hypothèses, vérifier un calcul, corriger une piste erronée puis formuler sa réponse. Cela ne garantit pas l’exactitude, mais peut améliorer les performances sur des tâches qui ne se résolvent pas bien par une réponse instinctive en une phrase.

Les chercheurs présentent s1 comme une alternative beaucoup plus légère, du point de vue de l’entraînement, à des modèles de raisonnement très médiatisés tels que ceux d’OpenAI ou DeepSeek. Il convient toutefois de ne pas confondre les termes : ChatGPT est un produit conversationnel, tandis que les comparaisons scientifiques portent sur des modèles et des protocoles de test précis, comme o1-preview chez OpenAI ou R1 chez DeepSeek.

Le travail ne prétend donc pas reproduire toute l’infrastructure technique, les données, les équipes et les années de recherche des grands laboratoires. Il montre plutôt qu’une partie des capacités de raisonnement peut être transmise à un modèle plus accessible lorsqu’un modèle de base et des exemples de qualité sont déjà disponibles.

Comment entraîner une IA de raisonnement pour moins de 50 dollars ?

La recette de s1 repose sur trois éléments : un modèle de départ déjà entraîné, un petit jeu de données soigneusement choisi et une période d’adaptation très courte. Le modèle retenu est Qwen2.5-32B-Instruct, issu de la famille Qwen développée par Alibaba. Avec ses 32 milliards de paramètres, ce n’est pas un petit modèle au sens strict. Surtout, il avait déjà absorbé une immense quantité de textes et appris les bases du langage lors de son entraînement initial.

Les chercheurs ne lui ont donc pas appris le français, les mathématiques ou le code depuis le début. Ils l’ont spécialisé pour qu’il adopte plus efficacement une manière de résoudre les problèmes en plusieurs étapes. Pour cela, ils ont constitué 1 000 paires de questions et réponses, accompagnées de traces de raisonnement.

Les 16 GPU Nvidia H100 mobilisés pendant 26 minutes restent du matériel très haut de gamme, habituellement réservé aux entreprises, aux laboratoires ou aux fournisseurs de cloud. Le montant inférieur à 50 dollars correspond donc à la courte durée de calcul nécessaire dans les conditions annoncées, et non au prix d’achat des machines.

La distillation, une façon de transmettre des capacités

La technique employée s’appelle la distillation. Dans ce contexte, elle consiste à faire produire des réponses et des raisonnements par un modèle très performant, puis à utiliser ces exemples pour entraîner un autre modèle. Le premier joue le rôle d’enseignant, le second celui d’élève.

Pour s1, les chercheurs se sont appuyés sur les raisonnements générés par Gemini 2.0 Flash Thinking Experimental, un modèle expérimental de Google conçu pour prendre davantage de temps avant de répondre. L’idée n’est pas seulement de récupérer la bonne réponse finale. Les étapes intermédiaires comptent aussi : elles montrent au modèle de départ comment décomposer un problème et organiser une solution.

Cette différence est essentielle. Si l’on n’entraîne une IA qu’avec des réponses finales, elle peut parfois apprendre des associations utiles sans comprendre comment les produire de façon fiable. En lui présentant des démonstrations de résolution, on l’encourage à adopter une procédure plus méthodique. Dans le cas de s1, les 1 000 exemples ont été sélectionnés pour leur qualité et leur capacité à transmettre ce comportement.

La distillation n’est pas une invention de cette équipe. Elle est utilisée depuis longtemps en apprentissage automatique pour transférer une partie des aptitudes d’un grand système vers un modèle plus compact ou moins coûteux. Ce qui distingue s1 est le niveau de performance revendiqué avec un jeu de données aussi réduit et une phase d’entraînement aussi brève.

Cette méthode comporte aussi une limite structurelle : l’élève dépend de la qualité de l’enseignant et des exemples fournis. Si les raisonnements générés comportent une erreur, une ambiguïté ou un biais, le modèle entraîné peut en reproduire les défauts. La sélection des données devient alors aussi importante que la quantité d’exemples.

Pourquoi laisser le modèle « penser » plus longtemps ?

L’autre particularité de s1 concerne le moment où l’IA répond à l’utilisateur, appelé l’inférence. Les chercheurs testent une méthode baptisée budget forcing, que l’on peut traduire par contrôle du budget de raisonnement. Son principe est simple : agir sur le temps ou l’espace accordé au modèle pour développer son raisonnement avant de donner sa réponse.

Dans certaines situations, on peut l’inciter à poursuivre sa réflexion au lieu de conclure trop vite. À l’inverse, il est possible de limiter la longueur de cette phase lorsqu’une réponse rapide est préférable. Les chercheurs utilisent notamment une instruction de type « Wait », ou « Attends », pour empêcher le système de s’arrêter prématurément et le pousser à continuer ses étapes de raisonnement.

Cette approche appartient à la famille des techniques de mise à l’échelle au moment du test. Plutôt que d’augmenter sans cesse la taille du modèle ou le volume de son entraînement, elle cherche à améliorer le résultat en lui allouant davantage de calcul lors de la résolution d’un problème précis.

Le compromis est concret. Un raisonnement plus long peut augmenter les chances de résoudre correctement un exercice difficile, mais il implique aussi plus de temps de réponse et davantage de ressources informatiques. Pour une question simple, ce surcroît de calcul peut être inutile. Pour une démonstration mathématique ou une tâche de code complexe, il peut en revanche faire une différence.

Des performances comparables, sous quelles réserves ?

Les auteurs indiquent que s1-32B atteint des performances comparables à o1-preview sur les évaluations qu’ils ont retenues, et qu’il peut le dépasser sur certaines questions de mathématiques compétitives. Ces résultats constituent un signal intéressant : un modèle adapté à partir de peu d’exemples peut devenir beaucoup plus compétent dans un domaine ciblé que ne le laisserait penser le seul coût de son entraînement final.

Toutefois, les benchmarks ne résument pas toutes les qualités d’une IA. Ils mesurent généralement la capacité à réussir des séries de problèmes standardisés. Ils ne permettent pas toujours d’évaluer la robustesse face à une question mal formulée, la qualité d’un échange long, la sûreté d’un conseil, la résistance aux tentatives de contournement ou les performances dans une langue et un domaine très différents de ceux des tests.

Il faut également distinguer un résultat de recherche d’une validation indépendante à grande échelle. Au 9 février 2025, les performances communiquées par l’équipe reposent sur ses propres protocoles et sur les comparaisons décrites dans ses travaux. Elles sont utiles pour comprendre le potentiel de l’approche, mais elles ne suffisent pas à établir que s1 remplace tous les modèles commerciaux dans tous les usages.

Enfin, un modèle de 32 milliards de paramètres reste exigeant à déployer. Son entraînement d’adaptation est bon marché, mais son exécution peut nécessiter une mémoire importante et une infrastructure adaptée, selon la vitesse de réponse recherchée et le nombre d’utilisateurs simultanés.

Ce que le chiffre de 50 dollars ne raconte pas

L’annonce remet en cause une idée reçue : les progrès en IA ne proviennent pas uniquement de modèles toujours plus grands. Des données mieux choisies, une méthode de distillation efficace et une gestion intelligente du raisonnement peuvent aussi produire des gains significatifs.

Mais elle ne remet pas à zéro l’économie de l’intelligence artificielle. Le coût annoncé ne comprend pas le développement du modèle Qwen de départ, ni celui du modèle Gemini qui a servi à produire les traces de raisonnement, ni les recherches nécessaires à leur conception. Ces systèmes ont mobilisé à l’origine de vastes ressources de calcul, des jeux de données massifs et des équipes spécialisées.

L’apport de s1 est ailleurs : il montre qu’une université, un laboratoire plus modeste ou une jeune entreprise peut s’appuyer sur des briques déjà publiées pour expérimenter des comportements de raisonnement avancés, sans lancer un programme de préentraînement gigantesque. Le seuil d’entrée pour la recherche appliquée baisse, même si l’accès à des GPU performants, à des données fiables et à des compétences techniques demeure déterminant.

Cette ouverture peut favoriser la diversité des acteurs. Des équipes spécialisées dans l’éducation, la recherche scientifique, le développement logiciel ou l’analyse de documents pourraient adapter des modèles à leurs besoins. Elle rend aussi plus nécessaire la mise en place de règles de test, de documentation et d’évaluation des risques, car rendre une technologie accessible ne garantit pas son bon usage.

Un modèle publié pour être étudié et amélioré

L’équipe a rendu publics le modèle, les données et le code associés au projet, ce qui permet à d’autres chercheurs de reproduire l’expérience, de la tester et de proposer des améliorations. Cette disponibilité est particulièrement importante en recherche : elle donne à la communauté la possibilité de vérifier les choix de données, les réglages d’entraînement et les résultats annoncés.

Pour les développeurs intéressés par un usage commercial, la prudence reste de mise. La disponibilité publique d’un modèle ne dispense pas de vérifier les licences applicables au modèle de départ, aux données et aux outils employés. Elle ne remplace pas non plus les obligations liées à la protection des données, à la sécurité ou à la qualité du service dans le secteur concerné.

Dans un service client, par exemple, un modèle de raisonnement pourrait aider à classer une demande complexe ou à rédiger un brouillon de réponse. Il ne devrait pas être laissé seul pour prendre une décision médicale, juridique, financière ou administrative ayant des conséquences importantes pour une personne. Le coût réduit de l’entraînement ne diminue pas la responsabilité de l’organisation qui le déploie.

Ce qu’il faut surveiller

La suite dépendra d’abord de la reproductibilité. D’autres équipes devront vérifier si la recette de s1 conserve ses performances avec des modèles de départ différents, dans d’autres langues et sur des problèmes qui ne figurent pas dans le jeu d’évaluation initial. Il faudra aussi mesurer l’effet réel du budget de raisonnement : laisser un modèle réfléchir davantage n’est utile que si le gain de fiabilité justifie le délai et le coût supplémentaires.

Il sera également intéressant d’observer si des jeux de données encore plus petits, mais mieux ciblés, permettent de transférer d’autres compétences complexes. La recherche sur s1 suggère qu’en IA, la qualité des démonstrations peut parfois compter davantage que leur volume brut.

La promesse la plus tangible n’est donc pas celle d’une IA générale créée pour 50 dollars. C’est celle d’outils de raisonnement plus faciles à étudier, à adapter et à auditer par des acteurs qui n’ont pas les moyens des plus grands groupes technologiques. Pour la recherche académique comme pour l’innovation, cette réduction du coût d’expérimentation pourrait compter autant que le résultat technique lui-même.