DeepSeek-R1 : le modèle de raisonnement ouvert qui rivalise avec OpenAI

Les grands modèles de langage savent rédiger, résumer ou traduire avec une aisance croissante. Mais résoudre un problème mathématique inhabituel, établir une démonstration, écrire du code fiable ou planifier plusieurs étapes reste une épreuve plus exigeante. C’est sur ce terrain du « raisonnement » que l’entreprise chinoise DeepSeek avance ses nouveaux modèles DeepSeek-R1 et DeepSeek-R1-Zero, présentés le 20 janvier 2025 et analysés ici à la date de publication du 21 janvier 2025.

L’ambition est nette : proposer des modèles capables de consacrer davantage de calcul à une question difficile, de vérifier leur réponse et de corriger leur trajectoire, tout en publiant des poids de modèles réutilisables. Selon les résultats communiqués par DeepSeek, R1 atteint ou approche les performances du système o1 d’OpenAI sur des épreuves de mathématiques, de code et de connaissances scientifiques. Ces chiffres ne suffisent pas à désigner un vainqueur universel, mais ils installent un concurrent sérieux dans une catégorie jusque-là largement associée à OpenAI.

Pourquoi les modèles de raisonnement changent la donne

Un modèle de raisonnement ne se distingue pas seulement par la quantité de connaissances qu’il a absorbées. Son objectif est de mieux traiter les questions nécessitant plusieurs opérations liées entre elles : identifier les données utiles, émettre une hypothèse, dérouler un calcul, contrôler le résultat et revenir en arrière si nécessaire.

Dans la pratique, cette aptitude est particulièrement recherchée pour :

• les problèmes de mathématiques et de logique ;
• la programmation, où une solution doit respecter une syntaxe et des contraintes précises ;
• les questions scientifiques à choix multiples, qui demandent de relier plusieurs notions ;
• les tâches où une erreur de raisonnement à une étape entraîne une mauvaise réponse finale.

Cette orientation explique le rapprochement avec o1, la famille de modèles d’OpenAI dédiée aux problèmes complexes. Les réponses visibles d’un assistant ne permettent toutefois pas, à elles seules, de mesurer sa capacité de raisonnement. Les laboratoires utilisent donc des benchmarks, c’est-à-dire des batteries d’exercices standardisées. Ils sont précieux pour comparer des systèmes dans des conditions définies, mais ils ne reproduisent ni tous les usages professionnels ni toutes les situations de la vie courante.

DeepSeek-R1-Zero, l’expérience du raisonnement par renforcement

Le premier volet de l’annonce est DeepSeek-R1-Zero. Son originalité tient à sa méthode de formation : DeepSeek affirme l’avoir entraîné à grande échelle par apprentissage par renforcement, sans passer d’abord par une phase de réglage supervisé consacrée au raisonnement.

L’apprentissage par renforcement consiste, de façon simplifiée, à attribuer une récompense aux réponses qui respectent un objectif. Pour des exercices dont la correction est objectivement vérifiable, par exemple un résultat numérique ou un programme qui passe des tests, il est possible de récompenser les solutions correctes. Le modèle est alors encouragé à produire des stratégies qui maximisent cette récompense.

Il faut distinguer ce procédé de l’apprentissage initial du modèle de langage. R1-Zero ne part pas de zéro au sens littéral : il repose sur un modèle de base déjà préentraîné sur du texte. Ce que DeepSeek écarte à cette étape est le réglage supervisé initial avec des exemples de raisonnement soigneusement rédigés par des humains ou produits selon un format préparé.

D’après DeepSeek, ce choix fait apparaître spontanément des comportements utiles : le modèle peut étendre son raisonnement, s’auto-vérifier et réfléchir de nouveau à une réponse avant de la fournir. L’entreprise présente R1-Zero comme une démonstration ouverte qu’un apprentissage par renforcement à grande échelle peut faire émerger de telles capacités.

Cette expérience a pourtant un coût important pour l’usage réel. DeepSeek reconnaît plusieurs défauts : des répétitions excessives, une mauvaise lisibilité et des mélanges de langues. Une réponse peut être juste tout en étant difficile à exploiter pour une personne, notamment si son déroulé est confus ou si elle alterne sans raison entre plusieurs idiomes. C’est précisément ce problème que vise la version R1.

DeepSeek-R1 ajoute des garde-fous de qualité

DeepSeek-R1 reprend les enseignements de R1-Zero, mais ajoute des données de « démarrage froid » avant la phase principale d’apprentissage par renforcement. Il s’agit d’exemples destinés à installer, dès le départ, une manière plus lisible et mieux structurée de répondre à des problèmes complexes.

Le pipeline détaillé par DeepSeek comprend deux phases de réglage supervisé et deux phases d’apprentissage par renforcement. La première étape supervisée met en place les fondations du raisonnement. Une phase de renforcement pousse ensuite le modèle à mieux réussir les tâches vérifiables. DeepSeek utilise par la suite des réponses filtrées pour un nouveau réglage supervisé, avant une dernière phase de renforcement qui doit concilier les capacités de raisonnement avec l’utilité générale et la qualité des réponses.

Autrement dit, R1 ne renonce pas à l’apprentissage par renforcement expérimenté avec R1-Zero. Il l’encadre avec des exemples de qualité afin de transformer une capacité émergente en assistant plus compréhensible. C’est une différence déterminante : un modèle peut obtenir un résultat correct sur un test, mais échouer à expliquer clairement une démarche, à suivre une consigne de format ou à dialoguer naturellement.

Que disent les benchmarks face à OpenAI o1 ?

DeepSeek compare R1 à o1-1217, une version du modèle o1 d’OpenAI. Sur plusieurs épreuves, les scores publiés sont très proches. R1 fait mieux sur MATH-500 et AIME 2024, deux tests mathématiques, tandis qu’o1-1217 conserve un avantage sur d’autres indicateurs, notamment GPQA Diamond et Codeforces.

Le résultat le plus commenté est celui de MATH-500, où DeepSeek-R1 affiche 97,3 %, contre 96,4 % pour o1-1217. Mais le tableau invite à une lecture plus nuancée que celle d’une supériorité générale. Sur GPQA Diamond, consacré à des questions scientifiques de niveau avancé, o1-1217 obtient 75,7 %, contre 71,5 % pour R1. Le niveau est donc comparable sur ce panel, avec des forces différentes selon les tests.

Ces résultats sont communiqués par DeepSeek dans son rapport technique. Ils doivent être lus avec la prudence habituelle : un benchmark dépend du jeu de données retenu, du nombre de tentatives autorisées, du format des réponses et de la version exacte des modèles. Une validation indépendante et des usages sur des tâches concrètes demeurent nécessaires pour évaluer la fiabilité d’un assistant dans un contexte donné.

La distillation rend le raisonnement plus accessible

L’autre aspect majeur de l’annonce concerne la distillation. Cette technique consiste à utiliser un modèle très performant comme enseignant afin de produire des données d’entraînement pour un modèle plus petit, appelé élève. Le modèle compact n’est pas une copie exacte de l’original, mais il peut apprendre une part importante de ses méthodes de résolution et de ses habitudes de réponse.

DeepSeek publie six versions distillées de R1 : quatre reposant sur Qwen, avec 1,5 milliard, 7 milliards, 14 milliards et 32 milliards de paramètres, et deux reposant sur Llama, avec 8 milliards et 70 milliards de paramètres. Ces nombres donnent une indication de la taille d’un modèle, sans suffire à résumer sa qualité : les données, l’architecture et l’entraînement jouent aussi un rôle important.

Le modèle DeepSeek-R1-Distill-Qwen-32B est particulièrement mis en avant. D’après les comparaisons de DeepSeek, il devance o1-mini d’OpenAI dans plusieurs évaluations de raisonnement, y compris des tests de mathématiques et de programmation. Cette performance attire l’attention parce qu’elle montre qu’un modèle de 32 milliards de paramètres, après distillation, peut atteindre un niveau élevé sur des tâches ciblées.

Pour les développeurs et les organisations, l’intérêt est concret. Les modèles plus petits demandent en principe moins de ressources de calcul et peuvent être plus faciles à déployer dans des environnements où l’accès aux très grands modèles est coûteux ou limité. Cela ne signifie pas qu’ils conviennent à tous les besoins : la taille réduite peut aussi dégrader les résultats sur des requêtes plus variées, des contextes longs ou des sujets moins représentés dans l’entraînement.

Des poids ouverts, avec des licences à vérifier

DeepSeek indique placer les poids de ses modèles sous licence MIT. Cette licence permissive autorise la réutilisation, la modification et l’usage commercial, sous réserve du respect de ses conditions. Dans l’écosystème des modèles de langage, publier des poids est une décision importante : elle permet à des chercheurs, entreprises et développeurs d’examiner le comportement d’un modèle, de l’adapter ou de l’exécuter sur leur propre infrastructure.

L’ouverture ne dispense pas de lire les conditions applicables. Les versions distillées reposent sur des modèles de base issus de familles différentes. DeepSeek précise que les utilisateurs doivent également respecter les licences de ces bases, notamment Apache 2.0 pour certains modèles Qwen et la licence associée à Llama 3 pour les modèles concernés.

Cette publication alimente une dynamique plus large : les performances de raisonnement ne sont plus seulement l’apanage de systèmes propriétaires accessibles par une interface en ligne. Cependant, disposer des poids d’un modèle ne donne pas automatiquement accès à toutes les composantes de sa création. Les données complètes, l’infrastructure de calcul, les choix de filtrage ou l’ensemble des procédés d’entraînement restent des éléments déterminants pour reproduire un résultat.

Ce qu’il faut surveiller après l’annonce

La publication de DeepSeek-R1 pose trois questions qui dépasseront les tableaux de scores. La première est celle de la fiabilité : de bons résultats en mathématiques et en code doivent être confrontés à des usages ouverts, ambigus et à forts enjeux. Un modèle capable de résoudre une épreuve ne doit pas être utilisé sans contrôle humain pour des décisions médicales, juridiques ou financières.

La deuxième concerne le coût d’accès au raisonnement avancé. Si la distillation permet réellement à des modèles moins volumineux de conserver une large part des performances, davantage d’acteurs pourront expérimenter localement ou sur des infrastructures plus modestes. Le compromis entre qualité, vitesse, consommation de ressources et sécurité deviendra alors central.

Enfin, la compétition ne se jouera pas uniquement sur les performances brutes. La lisibilité des réponses, le respect des langues, la stabilité du comportement, les modalités de licence et la possibilité de vérifier les résultats compteront autant que quelques dixièmes de point sur un benchmark. DeepSeek-R1 marque ainsi un jalon : l’apprentissage par renforcement et l’ouverture des poids deviennent deux leviers visibles dans la course aux modèles de raisonnement.