NVIDIA Dynamo veut accélérer l’inférence des modèles d’IA à grande échelle

L’intelligence artificielle ne se résume pas à l’entraînement des grands modèles. Une fois ce travail colossal réalisé, encore faut-il répondre vite et à coût maîtrisé aux millions de requêtes envoyées par les utilisateurs. C’est précisément sur cette seconde étape, appelée l’inférence, que NVIDIA entend intervenir avec Dynamo, un logiciel open-source annoncé lors de la GTC 2025.

L’ambition est claire : aider les entreprises qui exploitent de grands modèles de langage et des modèles de raisonnement à tirer davantage de leurs infrastructures de calcul. Pour cela, Dynamo organise la circulation des requêtes sur de vastes ensembles de GPU, avec l’objectif d’améliorer simultanément la réactivité des services et le nombre de réponses qu’ils peuvent produire.

L’inférence, le coût caché des assistants d’IA

L’entraînement est la phase au cours de laquelle un modèle d’IA analyse d’immenses volumes de données afin d’apprendre des régularités. L’inférence intervient ensuite : c’est le moment où le modèle utilise cet apprentissage pour répondre à une question, résumer un document, écrire du code ou analyser une image.

Pour un utilisateur, l’inférence correspond au temps qui s’écoule entre l’envoi d’une demande à un assistant et l’apparition de sa réponse. Pour l’opérateur du service, elle mobilise des serveurs et des GPU, parfois en très grand nombre. Cette étape devient donc déterminante à mesure que les IA génératives se déploient dans des applications utilisées en continu.

Deux critères doivent notamment être conciliés :

• La latence, soit le délai avant qu’une réponse commence à apparaître et se termine.
• Le débit, soit le nombre de requêtes ou de tokens que l’infrastructure peut traiter dans un temps donné.

Un token est une unité de texte manipulée par les modèles de langage. Il peut correspondre à un mot, une partie de mot ou un signe de ponctuation. Plus un système produit de tokens efficacement, plus il peut servir de demandes avec les mêmes ressources matérielles, à condition de préserver la qualité et la rapidité attendues.

Les modèles de raisonnement rendent cet équilibre encore plus complexe. Ils peuvent avoir besoin de produire davantage de texte avant de formuler une réponse finale, et leurs besoins de calcul fluctuent davantage d’une requête à l’autre. Une simple question courte et une tâche exigeant une analyse détaillée ne sollicitent pas les GPU de la même manière.

Dynamo, un framework plutôt qu’un système d’exploitation classique

NVIDIA présente Dynamo comme une bibliothèque open-source dédiée à l’inférence. L’entreprise emploie aussi l’expression de « système d’exploitation » pour les usines d’IA, c’est-à-dire les grands centres de calcul conçus pour produire et servir des résultats d’IA. Il ne s’agit toutefois pas d’un système d’exploitation généraliste comparable à Windows, macOS ou Linux.

Dans la pratique, Dynamo est un cadre logiciel destiné à orchestrer le traitement de très nombreuses requêtes sur une flotte de GPU. Son rôle est de décider comment répartir le travail, d’éviter que certaines ressources restent inutilisées et d’adapter l’exécution aux caractéristiques des demandes reçues.

L’une de ses idées centrales est la désagrégation de l’inférence. Dans un modèle de langage, le traitement d’une requête comporte généralement une première phase durant laquelle le modèle lit et prépare le contexte fourni, puis une seconde phase où il génère la réponse token par token. Ces opérations n’ont pas nécessairement les mêmes besoins matériels ni le même rythme. Les séparer permet, en théorie, d’affecter les GPU de manière plus fine et de mieux absorber les variations de charge.

Dynamo vise ainsi à faciliter le service de modèles à grande échelle, en particulier lorsque plusieurs utilisateurs interrogent simultanément un même système d’IA. Cette logique intéresse aussi bien les fournisseurs de cloud que les entreprises qui déploient leurs propres infrastructures de calcul.

Quels outils sont compatibles avec NVIDIA Dynamo ?

Pour être adopté, un outil d’infrastructure doit pouvoir s’intégrer à des environnements déjà utilisés par les équipes techniques. NVIDIA indique que Dynamo prend en charge plusieurs composants importants de l’écosystème de l’IA : PyTorch, SGLang, NVIDIA TensorRT-LLM et vLLM.

Cette interopérabilité est importante pour les startups, les laboratoires et les grandes entreprises. Elle limite le risque de devoir reconstruire entièrement une chaîne technique pour adopter Dynamo. Elle ne fait pas pour autant disparaître les contraintes de déploiement : intégrer un orchestrateur d’inférence nécessite de vérifier la compatibilité des modèles, de l’infrastructure, des outils de suivi et des exigences de sécurité propres à chaque organisation.

Pourquoi séparer les étapes du traitement peut améliorer les performances

Les grands modèles de langage ne travaillent pas tous de façon identique. Une demande dotée d’un long document joint exige d’abord que le modèle absorbe beaucoup de contexte. À l’inverse, une réponse longue demande surtout une génération soutenue de tokens. Dans une architecture unique, ces charges différentes peuvent se concurrencer pour les mêmes ressources.

Dynamo cherche à mieux distribuer ces tâches entre les GPU disponibles. L’objectif n’est pas seulement de répondre plus vite à une personne donnée, mais d’augmenter l’efficacité de l’ensemble de l’infrastructure. Pour un fournisseur d’IA, une amélioration de l’utilisation des GPU peut avoir des conséquences directes sur le coût de service d’un assistant ou d’une application interne.

NVIDIA met en avant des gains particulièrement élevés avec ses GPU de la famille Blackwell. Selon l’entreprise, Dynamo permet de doubler les performances de modèles tels que Llama et d’augmenter de plus de 30 fois la génération de tokens par GPU. Ces chiffres sont des résultats communiqués par NVIDIA : ils dépendent du matériel employé, du modèle, de la taille des requêtes, de la configuration logicielle et de la manière dont les performances sont mesurées.

Il faut donc distinguer une promesse d’infrastructure d’une garantie universelle. Une application conversationnelle à faible trafic, un outil d’analyse documentaire et un agent autonome effectuant plusieurs étapes n’auront pas les mêmes besoins ni les mêmes gains potentiels.

Des GPU Blackwell aux grandes plateformes de cloud

Dynamo s’inscrit dans une stratégie plus large de NVIDIA : faire des GPU le socle matériel et logiciel des « usines d’IA ». Les puces de la génération Blackwell sont conçues pour les charges de calcul liées à l’entraînement et à l’inférence de modèles toujours plus vastes. Un logiciel d’orchestration comme Dynamo a pour fonction de rendre cette puissance plus exploitable dans des conditions réelles de service.

Le sujet concerne directement les grands opérateurs de cloud et d’infrastructures, tels qu’AWS, Google Cloud, Meta et Microsoft Azure, qui doivent gérer de très grandes quantités de données et de requêtes. Les entreprises clientes attendent à la fois des assistants réactifs, des capacités de montée en charge et une facture de calcul soutenable.

L’annonce intervient aussi alors que les usages dits agentiques prennent de l’ampleur. Dans ce type d’application, un système d’IA ne se contente pas de produire une réponse en une fois. Il peut enchaîner des sous-tâches, consulter des outils, analyser des résultats intermédiaires et préparer une action. Ces flux créent des demandes plus irrégulières et plus longues, ce qui rend la gestion des ressources encore plus importante.

NVIDIA a également mis en avant NVIDIA AI Aerial, sa plateforme destinée aux infrastructures de réseaux d’accès radio pilotées par l’IA. Cette approche, souvent désignée par l’expression AI-RAN, illustre l’élargissement des ambitions du groupe : l’IA doit optimiser non seulement des applications, mais aussi des infrastructures de télécommunication. Dynamo relève d’abord de l’inférence pour les modèles d’IA, tandis qu’AI Aerial concerne les réseaux radio : les deux initiatives s’inscrivent dans une même vision d’infrastructures davantage pilotées par logiciel et par IA.

L’open source, un choix stratégique autant que technique

NVIDIA a choisi de proposer Dynamo en open source. Ce terme signifie que le code du projet est accessible à la communauté, qui peut l’étudier, l’utiliser et contribuer à son évolution selon les conditions de sa licence. Pour les développeurs, ce choix apporte davantage de transparence qu’un outil entièrement fermé et peut accélérer l’identification de problèmes ou l’ajout de compatibilités.

Cette ouverture est aussi stratégique. L’écosystème de l’inférence comprend de nombreux projets open-source, dont PyTorch et vLLM. En se connectant à ces outils, NVIDIA peut encourager les équipes techniques à utiliser ses optimisations logicielles tout en restant dans leurs habitudes de développement.

L’open source ne signifie pas pour autant que le déploiement devient simple ou gratuit. Une entreprise doit toujours financer ses GPU, l’électricité, le stockage, les équipes chargées de l’exploitation et les mécanismes de sécurité. Le code ouvert peut réduire certains freins techniques et favoriser les contributions, mais il ne supprime ni la dépendance au matériel ni la complexité d’une infrastructure à grande échelle.

Le partenariat annoncé avec NetApp va dans ce sens. Il vise à développer des solutions de raisonnement d’IA à grande échelle, en associant les enjeux de calcul à ceux du stockage et de la gestion des données. Or, pour les modèles de raisonnement, la qualité de l’infrastructure ne dépend pas seulement des GPU : les données doivent aussi être disponibles, organisées et accessibles suffisamment vite.

Ce qu’il faut surveiller après l’annonce de Dynamo

L’intérêt réel de Dynamo se mesurera dans les déploiements. Les annonces de performances sont importantes, mais les entreprises compareront surtout les résultats obtenus avec leurs propres modèles, leurs types de requêtes et leurs contraintes opérationnelles. Elles regarderont notamment le délai avant le premier token, la stabilité du service lorsque le trafic augmente, le coût par requête et la facilité d’intégration avec leurs outils existants.

La qualité de l’adoption par la communauté open-source sera un autre indicateur décisif. La compatibilité annoncée avec PyTorch, SGLang, TensorRT-LLM et vLLM place Dynamo dans un environnement déjà actif. Sa capacité à s’imposer dépendra de la maturité de ses outils, de sa documentation, de la participation des développeurs et de son aptitude à fonctionner avec une variété de modèles de raisonnement.

Enfin, Dynamo souligne une évolution profonde du marché de l’IA : la compétition ne porte plus seulement sur la création de modèles plus capables. Elle se joue aussi sur la capacité à les servir rapidement, à grande échelle et à un coût acceptable. Dans cette course, le logiciel chargé de répartir intelligemment le travail entre les GPU devient presque aussi stratégique que les puces elles-mêmes.