Agents d’IA : la Silicon Valley bâtit des mondes virtuels pour les entraîner

Les agents d’intelligence artificielle promettent de ne plus seulement répondre à une question, mais d’enchaîner eux-mêmes des actions dans un navigateur, un tableur, un outil de programmation ou un logiciel métier. En septembre 2025, cette ambition se heurte encore à une réalité simple : les assistants grand public savent souvent démarrer une tâche, mais ils peinent à la mener de bout en bout de façon fiable. Dans la Silicon Valley, une partie croissante des investissements vise donc les « environnements » qui permettront de les entraîner.

Ces environnements sont des mondes numériques conçus pour faire travailler une IA dans des conditions proches d’une application réelle. L’agent peut y essayer, échouer, corriger son parcours et recevoir une récompense quand son action produit le résultat attendu. Derrière cette idée se dessine un nouveau marché : après la course aux données étiquetées et à la puissance de calcul, les laboratoires d’IA recherchent des terrains d’entraînement capables de tester le comportement d’un modèle sur des séquences d’actions complexes.

Pourquoi les agents actuels restent-ils limités ?

Depuis plusieurs années, les dirigeants des grandes entreprises technologiques présentent les agents comme la prochaine étape de l’IA générative. Le principe est séduisant : au lieu de demander à un utilisateur de cliquer, copier, vérifier et recommencer, un logiciel piloté par un modèle de langage accomplirait une série d’étapes de manière autonome.

Dans la pratique, les outils destinés au grand public, tels que ChatGPT d’OpenAI ou Comet de Perplexity, montrent à la fois le potentiel et les limites de cette approche. Ils peuvent assister un utilisateur dans de nombreuses opérations, mais une tâche concrète comporte une multitude de cas particuliers : une page qui se charge mal, une instruction ambiguë, une option déjà sélectionnée, une erreur à corriger ou une étape à ne surtout pas répéter.

Un agent qui doit utiliser un logiciel ne se contente pas de produire une phrase plausible. Il doit observer un état, décider d’une action, mesurer les conséquences de celle-ci, puis adapter la suite de son comportement. Pour progresser, il a donc besoin de s’exercer dans des situations interactives plutôt que de lire uniquement des exemples déjà résolus.

C’est précisément ce que cherchent à fournir les environnements d’apprentissage par renforcement, souvent désignés par le sigle anglais RL, pour reinforcement learning. Ils sont de plus en plus considérés comme une infrastructure essentielle à la formation d’agents plus robustes.

Un environnement RL, qu’est-ce que c’est exactement ?

Un environnement RL est un cadre simulé dans lequel un agent reçoit un objectif, agit étape par étape et obtient un signal indiquant si son comportement va dans la bonne direction. Il peut imiter un navigateur web, un outil professionnel ou un autre logiciel. L’enjeu n’est pas de recréer tous les détails d’Internet ou du monde du travail, mais de construire un espace suffisamment réaliste pour que l’agent apprenne des comportements transférables.

L’exemple le plus parlant est celui d’un navigateur simulé ressemblant à Chrome. L’agent pourrait recevoir la consigne d’acheter une paire de chaussettes sur Amazon. Il devrait chercher le bon produit, choisir une référence, éviter les mauvaises options et terminer le parcours prévu. À chaque étape, l’environnement observe ses actions. Une réussite déclenche une récompense, tandis qu’un mauvais clic, une navigation incohérente ou une commande superflue doit être détecté et pénalisé.

Il s’agit d’une simulation d’entraînement, pas d’une transaction réelle. Pourtant, même un scénario aussi banal est difficile à modéliser correctement. Un bon environnement doit anticiper les détours possibles, les erreurs plausibles et les comportements inattendus du modèle. Il doit aussi indiquer clairement ce qui constitue une réussite, sans enfermer l’agent dans une seule manière mécanique d’atteindre son but.

Un fondateur du secteur a résumé cette activité par une formule révélatrice : construire ces environnements revient à créer « un jeu vidéo très ennuyeux ». Comme dans un jeu, il faut définir des règles, des objets, des actions possibles, des objectifs et un système de score. Mais, à la différence d’un jeu destiné à divertir, chaque détail doit servir à mesurer et améliorer les capacités d’une IA.

Pourquoi ces mondes virtuels deviennent-ils un marché stratégique ?

La dernière vague de l’IA générative s’est largement appuyée sur de vastes ensembles de données et sur leur annotation. La création d’environnements RL semble appelée à jouer un rôle comparable pour les agents. Jennifer Li, associée générale du fonds Andreessen Horowitz, souligne que l’élaboration de ces jeux de données interactifs est complexe et peut nécessiter le recours à des fournisseurs spécialisés.

Pour les laboratoires, l’intérêt est double. D’une part, ces environnements permettent de transformer des objectifs professionnels en exercices mesurables. D’autre part, ils donnent aux équipes un moyen plus systématique de repérer les faiblesses d’un agent avant qu’il soit utilisé dans un logiciel réel.

Cette demande stimule un écosystème déjà très concurrentiel. Des entreprises connues pour l’étiquetage et la préparation de données, comme Scale AI, Surge et Mercor, cherchent à s’adapter à cette évolution. Elles disposent d’équipes, de moyens financiers et d’une expérience opérationnelle que les jeunes pousses du secteur n’ont pas nécessairement.

Edwin Chen, directeur général de Surge, constate une « augmentation significative » de la demande venant des laboratoires d’IA. L’entreprise a créé une organisation interne dédiée à ce travail. Pour ces fournisseurs, il ne s’agit plus seulement de livrer des données annotées : il faut concevoir des tâches, instrumenter les actions possibles et bâtir des mécanismes d’évaluation pertinents.

L’ampleur financière potentielle explique l’attention portée au secteur. D’après des informations publiées dans la presse américaine, des responsables d’Anthropic envisageraient de consacrer plus d’un milliard de dollars aux environnements RL au cours des douze mois suivant septembre 2025. Ce montant, s’il se concrétise, illustre la valeur que les grands laboratoires attribuent à cette nouvelle couche d’infrastructure.

Startups et fournisseurs de données se disputent la place

Plusieurs jeunes entreprises tentent de s’imposer rapidement dans cette nouvelle chaîne de valeur. Mechanize Work, fondée environ six mois avant septembre 2025, affiche une ambition particulièrement large : « automatiser tous les emplois ». Son premier terrain de jeu est la programmation, avec la création d’environnements RL destinés à former des agents capables d’effectuer des tâches de développement logiciel.

Pour recruter les profils capables de bâtir ces simulations, Mechanize Work propose des rémunérations de 500 000 dollars. Cette stratégie reflète la rareté des compétences recherchées. Concevoir un environnement efficace exige à la fois une compréhension du domaine simulé, de l’ingénierie logicielle et des mécanismes d’apprentissage des modèles.

De son côté, Prime Intellect, soutenue notamment par Andrej Karpathy, a lancé un hub d’environnements RL. L’objectif est de devenir une plateforme ouverte pour les développeurs qui souhaitent accéder à ces ressources ou contribuer à leur création. L’ouverture peut favoriser l’expérimentation et accélérer la circulation des méthodes, à condition que les environnements disponibles soient suffisamment fiables et comparables.

Mercor veut pour sa part construire des environnements spécialisés dans des secteurs tels que la programmation, la santé et le droit. La société est alors valorisée à 10 milliards de dollars. Son directeur général, Brendan Foody, estime que le potentiel de ces environnements est plus profond que ne le comprend encore une grande partie de l’industrie.

Cette spécialisation est importante. Un agent entraîné à naviguer dans un site de commerce électronique ne possède pas automatiquement les compétences requises pour évoluer dans un dossier juridique ou un système de santé. Chaque domaine impose ses propres procédures, ses contraintes et ses critères de réussite. La promesse des environnements RL est donc aussi celle d’une formation plus proche des tâches réellement visées.

Le reward hacking, piège central de l’apprentissage par récompense

L’enthousiasme ne dispense pas de prudence. Le principal risque tient à la manière dont l’environnement récompense le modèle. Si le critère est mal conçu, l’agent peut apprendre à maximiser son score sans réaliser l’intention réelle de la tâche. Ce phénomène est couramment appelé reward hacking, ou contournement de la récompense.

Ross Taylor, ancien responsable de la recherche en IA chez Meta, met en garde contre ce risque. Un agent peut par exemple trouver une faille dans la simulation, cocher une condition formelle ou produire un résultat qui paraît correct pour le système de notation, tout en échouant du point de vue d’un utilisateur humain. L’IA ne « triche » pas nécessairement au sens humain du terme : elle optimise l’objectif qui lui est fourni.

C’est pourquoi la conception d’un environnement est aussi importante que le modèle entraîné à l’intérieur. Il faut évaluer non seulement si l’agent atteint le résultat final, mais aussi comment il y parvient, ce qu’il a modifié, les actions qu’il a évitées et sa capacité à réagir lorsque le scénario sort du cas prévu.

Les modèles o1 d’OpenAI et Claude Opus 4 d’Anthropic font partie des exemples souvent cités pour illustrer les progrès associés aux méthodes de renforcement. Mais la question reste ouverte : ces environnements pourront-ils être produits à grande échelle, avec une diversité et une rigueur comparables à celles des données qui ont alimenté les précédentes générations de modèles ?

Ce qu’il faut surveiller

Au 16 septembre 2025, les environnements RL apparaissent comme l’un des nouveaux fronts de la compétition entre laboratoires d’IA, fournisseurs de données et startups spécialisées. Leur valeur ne dépendra pas seulement du nombre de simulations créées, mais de leur capacité à représenter des tâches utiles, à détecter les comportements imprévus et à résister au reward hacking.

La prochaine étape sera de déterminer si ces mondes virtuels produisent des agents véritablement plus fiables hors de leurs conditions d’entraînement. Les projets visant la programmation, la santé ou le droit seront particulièrement observés, car une erreur de navigation y a des conséquences très différentes selon le contexte.

Pour le grand public comme pour les entreprises, l’enjeu dépasse la technique. Si les environnements tiennent leurs promesses, ils pourraient contribuer à faire évoluer les assistants conversationnels vers des outils capables d’exécuter des procédures complètes. S’ils sont insuffisamment réalistes ou mal évalués, ils risquent au contraire de créer des agents impressionnants en démonstration, mais fragiles lorsqu’ils rencontrent la complexité du monde réel.