Kari Briski : les agents physiques, prochain terrain de jeu de l’IA selon Nvidia

L’intelligence artificielle a d’abord appris à répondre à des questions, à produire du texte ou à générer des images. Nvidia veut désormais lui donner une capacité supplémentaire : intervenir dans le monde physique. Kari Briski, vice-présidente des logiciels d’IA générative du groupe, résume cette ambition en une formule : « Nous croyons fermement chez Nvidia que les agents physiques représenteront l’avenir des intelligences artificielles. »

Cette perspective ne renvoie pas simplement à des robots plus sophistiqués. Elle décrit des systèmes qui devraient être capables d’observer un environnement, de comprendre ce qui s’y passe, de décider d’une action et de l’exécuter. L’enjeu est considérable : faire passer une IA du rôle d’assistant numérique, cantonné à des données et à des interfaces, à celui d’agent susceptible d’aider dans un entrepôt, une usine ou d’autres espaces où les objets, les personnes et les imprévus imposent leurs propres règles.

Nvidia veut faire sortir les agents IA de l’écran

Le mot « agent » désigne aujourd’hui un système d’IA qui ne se limite pas à fournir une réponse. Il peut poursuivre un objectif en plusieurs étapes : recueillir des informations, raisonner sur une situation, choisir une action, vérifier le résultat et ajuster son approche. Dans le monde numérique, un agent peut par exemple naviguer entre des logiciels ou organiser des données.

Un agent physique ajoute une difficulté décisive : ses décisions ont des conséquences dans un environnement réel. Pour déplacer une pièce, circuler dans un entrepôt ou manipuler un outil, il ne suffit pas de reconnaître une instruction en langage naturel. Le système doit aussi composer avec la disposition des lieux, les obstacles, l’état des objets et les lois de la physique.

C’est ce que Nvidia désigne par l’expression Physical AI, ou IA physique. Cette notion recouvre l’association entre les progrès des modèles d’intelligence artificielle et ceux de la robotique. L’objectif est de concevoir des machines capables d’interagir avec leur environnement de façon plus autonome, plutôt que de répéter uniquement une séquence préprogrammée.

Dans la vision présentée par Kari Briski, les agents physiques deviennent ainsi une extension des agents virtuels. Les premiers évoluent dans des logiciels et des flux de données. Les seconds doivent traduire une décision en mouvement, dans un univers où une erreur d’estimation peut empêcher une tâche de se dérouler correctement.

Qu’est-ce qui distingue un agent physique d’un agent virtuel ?

La différence fondamentale tient au terrain sur lequel l’IA intervient. Un agent virtuel peut avoir accès à des informations nombreuses et traiter rapidement une demande. Un agent physique doit, lui, relier cette capacité de traitement à des capteurs, à des caméras, à des bras robotisés ou à des moyens de déplacement.

Il doit également réagir à des variations qu’un environnement numérique ne reproduit pas toujours parfaitement : un objet déplacé, une surface irrégulière, une charge mal positionnée ou la présence d’un collègue humain. La perception et l’action sont donc inséparables.

Les agents physiques reposent, comme les agents virtuels, sur des modèles d’IA générative. Selon Nvidia, cette base leur permet d’évaluer le résultat de leurs actions et d’ajuster leur comportement. L’ambition est de leur donner une autonomie croissante face à des missions plus complexes.

Apprendre dans un monde simulé avant d’agir dans le réel

Pour Kari Briski, un agent physique ne peut pas être envoyé sans préparation dans un environnement de travail. La formation dans des environnements simulés constitue une étape centrale de cette démarche. Le principe est de confronter le système à de nombreuses situations virtuelles, afin qu’il apprenne à naviguer, à reconnaître des objets et à choisir des actions compatibles avec les contraintes physiques.

Cette préparation présente un intérêt pratique évident. Tester des scénarios dans une simulation permet d’explorer des cas variés sans immobiliser une chaîne de production ou risquer d’endommager du matériel. L’agent peut notamment être confronté à des configurations différentes, à des obstacles ou à des séquences de tâches inhabituelles avant un déploiement plus encadré.

Nvidia travaille aussi sur des modèles de fondation du monde. L’expression désigne des modèles destinés à mieux représenter les situations physiques auxquelles un agent peut être confronté. Pour un robot, comprendre le monde ne consiste pas seulement à identifier une image. Il faut aussi anticiper ce qui peut se produire lorsqu’un objet est déplacé, lorsqu’un trajet est modifié ou lorsqu’une action dépend de plusieurs éléments présents autour de lui.

La simulation ne règle toutefois pas tout. Un environnement réel comporte toujours des détails difficiles à prévoir. La transition entre l’apprentissage virtuel et le terrain est donc l’un des points les plus délicats : le système doit conserver ses capacités face à des situations qui ne correspondent pas exactement à celles rencontrées pendant son entraînement.

Industrie et logistique, des usages particulièrement attendus

Nvidia anticipe une demande croissante dans des secteurs où les opérations sont à la fois répétitives, physiques et soumises à des contraintes d’organisation. L’industrie et la logistique sont les exemples les plus directement cités.

Dans une usine, des agents physiques pourraient contribuer à des tâches laborieuses ou répétitives. Dans la logistique, ils pourraient aider à gérer des opérations liées à la circulation et à la manipulation de marchandises, ainsi qu’à la complexité des chaînes d’approvisionnement. La promesse n’est pas seulement d’automatiser un geste : elle est de faire coopérer machines et équipes humaines autour d’objectifs communs.

Cette coopération est importante. Un agent physique utile en entreprise ne se juge pas uniquement à sa vitesse d’exécution. Il doit pouvoir s’insérer dans des procédures existantes, agir de manière prévisible et respecter l’organisation du travail. Dans les environnements industriels ou urbains évoqués par Nvidia, les machines devront ainsi partager l’espace avec des travailleurs, des équipements et des contraintes opérationnelles changeantes.

Quels verrous techniques restent à lever ?

L’enthousiasme pour l’IA physique s’accompagne de difficultés techniques considérables. Nvidia souligne d’abord la nécessité de disposer d’une infrastructure adaptée. Faire fonctionner un agent ne revient pas seulement à installer un modèle d’IA sur une machine. Il faut relier efficacement la perception, la mémoire, la planification et l’exécution des actions.

La mémoire est un enjeu majeur. Pour mener une mission en plusieurs étapes, un agent doit conserver les informations utiles sur ce qu’il a vu, ce qu’il a déjà tenté et ce qu’il lui reste à accomplir. Sans cette continuité, il peut être capable de réussir une action isolée sans pour autant mener à bien une tâche complexe.

L’efficacité dans des contextes variés représente un autre défi. Un système peut se montrer performant dans un espace bien délimité, puis éprouver des difficultés dès que les conditions changent. Les agents doivent donc gagner en robustesse, c’est-à-dire conserver un comportement fiable malgré les différences de lieux, d’objets et de situations.

Enfin, Nvidia met en avant la nécessité d’améliorer la collaboration dynamique entre agents. Certains problèmes ne pourront pas être résolus par une seule machine. Si plusieurs agents interviennent, ils doivent répartir les tâches, partager les informations pertinentes et éviter de se gêner. Cette coordination devient d’autant plus importante lorsque leurs actions s’inscrivent dans un processus industriel plus vaste.

L’analyse sémantique des données est également appelée à jouer un rôle. Elle doit aider les agents à donner du sens aux informations issues de leur environnement, au lieu de traiter séparément chaque image, instruction ou signal. La recherche s’oriente par ailleurs vers des modèles capables de traiter différentes modalités, notamment le texte, l’image et l’audio, afin d’élargir la polyvalence de ces systèmes.

Une réponse possible à la pénurie de main-d’œuvre

Kari Briski estime que les agents physiques pourraient jouer un rôle important face aux difficultés de recrutement dans certains secteurs. Dans cette optique, ils ne seraient pas uniquement un outil de modernisation technologique. Ils pourraient aider les entreprises à maintenir certaines opérations lorsque des postes restent difficiles à pourvoir.

L’argument économique repose sur deux promesses : l’optimisation des processus et l’amélioration de la productivité. Dans les faits, ces bénéfices dépendront de la capacité des organisations à intégrer les machines dans leurs méthodes de travail, à former les équipes qui les supervisent et à choisir des tâches où l’autonomie apporte un gain concret.

L’interopérabilité sera également déterminante. L’émergence de normes et de protocoles est présentée comme un facteur susceptible de faciliter les échanges entre agents et leur intégration dans les entreprises. Sans langage commun entre les systèmes, les capteurs, les logiciels et les équipements, il sera difficile de faire fonctionner ensemble des solutions provenant d’acteurs différents.

Ce qu’il faut surveiller pour juger la promesse de l’IA physique

La déclaration de Kari Briski illustre la direction stratégique prise par Nvidia : l’entreprise veut participer à l’émergence de machines qui ne se contentent plus d’analyser le monde, mais qui peuvent y agir. Cette trajectoire dépendra moins de démonstrations spectaculaires que de résultats mesurables dans les environnements où ces agents seront réellement déployés.

Trois questions seront particulièrement importantes. La première concerne la fiabilité : les agents sauront-ils accomplir une mission de façon régulière malgré les imprévus ? La deuxième touche à la sécurité : pourront-ils évoluer aux côtés d’humains sans créer de risques ? La troisième porte sur l’intégration : les entreprises disposeront-elles des infrastructures, des données et des procédures nécessaires pour les utiliser efficacement ?

Les agents physiques ne remplaceront pas d’un coup les robots spécialisés ni les logiciels d’IA déjà utilisés au quotidien. Mais s’ils parviennent à relier compréhension, mémoire, adaptation et action dans le monde réel, ils pourraient devenir une nouvelle catégorie d’outils pour l’industrie, la logistique et, plus largement, les activités qui reposent encore sur des opérations physiques complexes.