NVLM : ce que le modèle multimodal de Nvidia change face à GPT-4o

Nvidia ne se contente plus de fournir les processeurs graphiques qui entraînent une grande partie des modèles d’intelligence artificielle : le groupe entend aussi démontrer sa capacité à produire ses propres modèles de pointe. Avec NVLM 1.0, dévoilé par Nvidia Research fin septembre 2024, l’entreprise présente une famille de modèles multimodaux, capables d’interpréter à la fois du texte et des images. Son modèle le plus imposant, NVLM-D-72B, est comparé dans la publication à des systèmes propriétaires tels que GPT-4o d’OpenAI.

La formule mérite toutefois d’être précisée. NVLM n’est pas une application grand public équivalente à ChatGPT, ni une plateforme clé en main promise aux entreprises. Il s’agit d’abord d’un travail de recherche et d’une mise à disposition de modèles ouverts. Les résultats communiqués par Nvidia sont solides sur les exercices de compréhension visuelle, mais ils ne permettent pas, à eux seuls, d’affirmer qu’un modèle « surpasse » GPT-4o dans tous les contextes. C’est la différence entre une performance mesurée sur un test et l’expérience réelle d’un utilisateur.

NVLM 1.0, une famille de modèles pour lire les images et le texte

Le sigle NVLM désigne un modèle de langage visuel, ou vision language model. Son rôle est de relier des informations écrites à ce qui apparaît dans une image. Un tel système peut par exemple décrire une photographie, répondre à une question sur un graphique, extraire une information d’un document numérisé ou résoudre un problème présenté sous forme de schéma.

Cette approche est dite multimodale : le modèle ne reçoit plus seulement une suite de mots, mais plusieurs types de données. Pour analyser une image, celle-ci est convertie en représentations numériques exploitables par le modèle de langage. Le système peut alors rapprocher les éléments visuels, comme des objets, du texte inscrit ou une relation spatiale, de la question formulée par l’utilisateur.

Nvidia présente NVLM 1.0 comme une série de modèles de tailles variées, culminant avec NVLM-D-72B, dont le nom renvoie à ses 72 milliards de paramètres. Les paramètres sont les valeurs ajustées durant l’entraînement d’un réseau de neurones. Ils ne représentent ni des connaissances garanties ni une mesure directe de l’intelligence, mais leur nombre donne une idée de l’ampleur du modèle et des ressources nécessaires à son entraînement et à son exécution.

L’enjeu principal de la publication est double : améliorer les réponses aux tâches mêlant vision et langage, sans dégrader les compétences purement textuelles. Ce point est important, car un modèle spécialisé dans l’image peut perdre en qualité sur des tâches de raisonnement, de rédaction ou de compréhension de texte s’il est entraîné de façon déséquilibrée.

Que compare-t-on réellement avec GPT-4o ?

GPT-4o, présenté par OpenAI en mai 2024, a popularisé l’idée d’un assistant pouvant traiter naturellement différents formats, notamment le texte, les images et l’audio. Nvidia se situe donc sur un terrain devenu stratégique : la capacité à faire dialoguer les mots, les images et, à terme, d’autres signaux issus du monde physique.

La comparaison entre NVLM et GPT-4o doit néanmoins être lue avec méthode. Nvidia évalue son grand modèle sur des batteries de tests vision-langage et indique qu’il rivalise avec des modèles propriétaires de premier plan, dont GPT-4o. Un benchmark est un examen standardisé : il est utile pour mesurer des progrès techniques, mais il ne reproduit pas toute la diversité des demandes réelles.

Les benchmarks sont utiles, mais ils ne désignent pas un champion absolu

Les tests de vision-langage demandent souvent au modèle de répondre à une question concernant une image : identifier un objet, lire un tableau, interpréter un diagramme, raisonner à partir d’une illustration scientifique ou comparer plusieurs images. Ces tâches sont exigeantes, notamment lorsqu’elles combinent lecture de petits caractères, calcul et raisonnement logique.

Les bons résultats de NVLM-D-72B attestent d’un progrès important pour un modèle ouvert. Ils sont particulièrement intéressants pour les équipes qui souhaitent étudier le fonctionnement d’un système multimodal, l’adapter à un domaine précis ou le déployer dans leur propre infrastructure. Un acteur de la santé, de l’industrie ou de l’éducation peut vouloir examiner des documents visuels spécialisés sans nécessairement envoyer ces données à un service externe.

Mais plusieurs précautions s’imposent. La qualité d’un assistant dépend aussi de sa vitesse, de son coût de fonctionnement, de sa capacité à suivre des consignes longues, de sa résistance aux erreurs et de ses mécanismes de sécurité. À cela s’ajoute la question de l’audio, domaine dans lequel GPT-4o a été fortement mis en avant. Un score élevé sur une série d’images ne résume donc pas toutes les qualités d’un produit conversationnel.

Pourquoi l’ouverture de NVLM compte pour les développeurs

La publication de Nvidia s’inscrit dans une dynamique plus large : celle des modèles ouverts capables de se rapprocher, sur certains tests, des performances des systèmes fermés. Pour les chercheurs et les entreprises, l’intérêt est de pouvoir examiner les modèles, les intégrer à des projets spécifiques et expérimenter des améliorations sans dépendre uniquement d’une interface contrôlée par un fournisseur.

Cette ouverture ne fait pas disparaître les contraintes. Un modèle de 72 milliards de paramètres demande une infrastructure informatique considérable. Le faire fonctionner efficacement nécessite des accélérateurs, de la mémoire et des compétences d’ingénierie. Les modèles plus petits de la famille NVLM peuvent être plus accessibles, mais ils n’offrent pas nécessairement le même niveau de performance que NVLM-D-72B.

Nvidia étudie dans NVLM 1.0 plusieurs choix d’architecture. Certains modèles reposent sur une approche de type decoder-only, proche de celle des grands modèles de langage modernes, tandis que d’autres utilisent des mécanismes destinés à faire circuler l’information entre les représentations visuelles et textuelles. Derrière ces termes techniques se cache une question concrète : comment donner au modèle assez d’informations sur l’image, sans perturber ses capacités à produire et à comprendre du langage ?

Pour Nvidia, ce travail possède également une valeur stratégique. L’entreprise domine le marché des GPU utilisés pour l’entraînement de l’IA, mais elle développe aussi une vaste pile logicielle, des outils de déploiement et des modèles de référence. NVLM montre que son rôle ne se limite pas au matériel : le groupe veut peser sur les méthodes qui définiront les assistants et applications de demain.

Robotique humanoïde : une promesse distincte de NVLM

L’article scientifique sur NVLM intervient alors que Nvidia multiplie les déclarations sur l’avenir de la robotique. L’entreprise estime que des robots humanoïdes généralistes pourraient devenir économiquement pertinents dans un horizon de deux à trois ans. Cette perspective reste une projection industrielle, et non une démonstration apportée par NVLM 1.0.

Le lien entre les deux sujets existe néanmoins. Un robot appelé à manipuler des objets dans un entrepôt, une usine ou un environnement domestique doit comprendre ce qu’il observe, interpréter des instructions et agir dans un contexte changeant. Les modèles vision-langage peuvent contribuer à cette compréhension de haut niveau : ils aident à associer l’ordre « prends la boîte posée près de la porte » aux éléments visibles dans une scène.

Ils ne suffisent toutefois pas à créer un robot autonome. Il faut aussi des capteurs fiables, des systèmes de contrôle des mouvements, une planification sécurisée, des données sur le monde physique et des mécanismes capables de réagir sans danger à l’imprévu. Entre reconnaître une image et saisir un objet fragile sans le casser, l’écart technique demeure considérable.

Nvidia Research avait par ailleurs dévoilé Eureka en octobre 2023. Ce projet utilise les grands modèles de langage pour aider à concevoir des fonctions de récompense, c’est-à-dire les règles qui orientent l’apprentissage par renforcement d’un agent ou d’un robot. Eureka illustre l’intérêt de l’IA générative pour l’entraînement de comportements robotiques, mais il ne constitue pas une fonctionnalité annoncée de NVLM.

Une innovation qui s’inscrit dans une compétition économique intense

La course aux modèles multimodaux se joue autant dans les laboratoires que sur les marchés financiers. Nvidia a connu une séance particulièrement brutale le 3 septembre 2024, avec une perte de valeur boursière d’environ 279 milliards de dollars. Ce chiffre spectaculaire désigne une baisse de capitalisation, et non une somme sortie des comptes de l’entreprise. Il rappelle surtout les attentes considérables qui entourent le groupe après son envolée liée à la demande en infrastructures d’IA.

Il serait erroné de relier directement cette variation boursière à NVLM, dévoilé plus tard dans le mois. La recherche sur un modèle et les revenus à court terme d’un fabricant de puces ne se mesurent pas sur la même échelle. Mais l’épisode illustre une pression réelle : Nvidia doit convaincre que l’investissement massif des entreprises dans les centres de données, les GPU et les logiciels d’IA débouchera sur des usages durables et rentables.

Face à elle, OpenAI, Google, Anthropic, Meta et plusieurs acteurs chinois investissent eux aussi dans des modèles toujours plus polyvalents. Dans cette compétition, publier un modèle ouvert performant peut renforcer l’écosystème Nvidia : plus de développeurs expérimentent avec ses outils, plus la demande en puissance de calcul et en solutions de déploiement peut progresser.

Les limites et les enjeux de confiance restent centraux

Les modèles qui analysent des images et produisent du texte peuvent commettre des erreurs avec une grande assurance. Ils peuvent mal lire une étiquette, inventer une explication à un graphique ambigu ou tirer une conclusion injustifiée à partir d’une photographie. Dans un cadre créatif, ces défauts sont parfois gérables. Dans la santé, l’industrie, la sécurité ou l’administration, ils imposent une vérification humaine et des protocoles adaptés.

La question des données est tout aussi importante. Les systèmes multimodaux sont entraînés sur d’immenses corpus, dont la composition, les droits associés et les biais possibles sont au coeur des débats sur l’IA générative. Lorsqu’une entreprise utilise un modèle sur ses propres images, documents ou vidéos, elle doit aussi encadrer la confidentialité de ces informations.

Enfin, rendre des modèles plus accessibles favorise l’innovation, la recherche et l’audit indépendant. Cela peut aussi faciliter des usages trompeurs, comme la production de contenus visuels ou textuels manipulés. Les performances ne peuvent donc pas être le seul critère d’évaluation : la transparence, les conditions d’utilisation et les garde-fous comptent tout autant.

Ce qu’il faut surveiller après NVLM 1.0

La première question sera celle de l’adoption. Des chercheurs et développeurs pourront déterminer si NVLM est simple à déployer, si ses résultats se confirment sur des données spécialisées et quel niveau de calcul il exige dans des conditions réelles. Les comparaisons indépendantes seront particulièrement utiles pour départager les promesses de publication des performances observées en pratique.

Il faudra aussi observer la vitesse à laquelle les modèles ouverts réduisent l’écart avec les assistants propriétaires. NVLM 1.0 montre qu’un laboratoire industriel comme Nvidia peut publier des travaux de haut niveau en vision-langage tout en s’appuyant sur son expertise historique dans le calcul accéléré. Mais la bataille ne se limite pas à la taille des modèles : elle se jouera sur la fiabilité, les interfaces, les coûts, la sécurité et la capacité à transformer une démonstration technique en outil réellement utile.

Pour le grand public, le changement le plus visible sera probablement l’intégration progressive de la compréhension d’images dans les logiciels du quotidien. La promesse n’est pas celle d’une machine qui comprend parfaitement le monde, mais d’assistants mieux capables de relier un document, une photo, un schéma ou un écran à une demande formulée en langage naturel. NVLM apporte une pierre significative à cette évolution, sans clore la compétition avec GPT-4o ou ses futurs rivaux.