Agents d’IA : la Silicon Valley investit dans leurs nouveaux terrains d’entraînement

Les modèles d’IA savent déjà rédiger un texte, résumer un document ou produire du code. Mais un agent, c’est-à-dire un système chargé d’agir à la place d’un utilisateur dans un logiciel, doit relever un défi supplémentaire : prendre une succession de décisions dans un contexte qui change. Au 21 septembre 2025, cette étape nourrit une course discrète mais structurante dans la Silicon Valley : la création d’« environnements » numériques où ces agents peuvent s’entraîner.

L’idée est simple à énoncer, beaucoup moins à mettre en œuvre. Au lieu de montrer à un modèle une vaste collection d’exemples déjà annotés, on le place dans une simulation interactive. Il doit, par exemple, naviguer sur une interface, effectuer des choix, répondre à des imprévus et atteindre un objectif. Ses actions produisent alors des signaux qui l’encouragent ou le pénalisent. Cette méthode, appelée apprentissage par renforcement, ou RL pour reinforcement learning, devient un chantier industriel pour les laboratoires d’IA et pour les entreprises qui veulent les approvisionner.

Pourquoi les agents d’IA ont-ils besoin de terrains d’entraînement ?

Un grand modèle de langage est principalement formé à partir de contenus existants : textes, codes, images ou autres données. Cette phase lui permet d’apprendre des régularités et de générer des réponses plausibles. Elle ne suffit pas nécessairement à lui apprendre à mener une tâche complète dans une application, où il faut observer une situation, agir, vérifier le résultat et parfois revenir en arrière.

Un environnement RL reproduit cette boucle. Prenons l’exemple évoqué par les acteurs du secteur : un agent opère dans un navigateur comme Chrome et doit acheter un produit. Il peut avoir à rechercher un article, sélectionner une variante, remplir des informations, vérifier un panier ou s’adapter à un message inattendu. Chaque étape peut être associée à un retour : l’agent s’est-il rapproché du but, ou s’en est-il éloigné ?

L’objectif n’est donc pas seulement d’obtenir une réponse correcte en une phrase. Il s’agit d’entraîner un comportement sur plusieurs étapes, dans lequel une erreur précoce peut compromettre toute la suite de la tâche. C’est ce qui explique l’intérêt croissant pour ces infrastructures spécialisées.

Des jeux de données aux simulations interactives

Les jeux de données traditionnels restent indispensables à l’IA. Ils servent notamment à transmettre au modèle des connaissances, des styles de réponse ou des exemples de tâches. Les environnements d’apprentissage par renforcement répondent toutefois à un besoin différent : faire apprendre à un agent les conséquences de ses propres décisions.

Cette différence paraît abstraite, mais elle a des conséquences concrètes. Un ensemble de données fixe contient des informations et des réponses préparées à l’avance. Une simulation, elle, doit réagir aux choix de l’agent. Si celui-ci emprunte un chemin non prévu, l’environnement doit rester cohérent, sans lui révéler accidentellement la solution ni rendre la tâche impossible à évaluer.

Les laboratoires cherchent des fournisseurs spécialisés

Selon Jennifer Li, associée générale chez Andreessen Horowitz, la tendance est déjà largement engagée : « Tous les grands laboratoires développent des environnements d’apprentissage renforcé en interne. » Ce constat souligne une réalité importante. Les grands acteurs veulent maîtriser une brique stratégique de l’entraînement de leurs agents, mais sa construction demande du temps, des compétences logicielles et une connaissance fine des tâches à évaluer.

C’est là que des fournisseurs externes espèrent trouver leur place. Les jeunes entreprises Mechanize et Prime Intellect cherchent à se positionner sur le développement de ces environnements. Leur promesse est de fournir aux laboratoires des espaces d’entraînement adaptés à leurs agents, au lieu de laisser chaque équipe reconstruire seule les mêmes outils.

Le marché ne se limite pas à des simulations génériques. Les besoins dépendent étroitement des usages visés. Un agent destiné à aider à la programmation ne rencontre pas les mêmes interfaces, les mêmes contraintes ni les mêmes critères de réussite qu’un agent utilisé dans un contexte de santé ou de droit. Mercor, valorisée 10 milliards de dollars selon les éléments disponibles, développe ainsi des environnements ciblant notamment la programmation, la santé et le droit.

Cette spécialisation est importante : dans les domaines où les procédures sont complexes, il ne suffit pas d’observer si l’agent a produit une réponse convaincante. Il faut pouvoir déterminer s’il a suivi les étapes pertinentes et s’il a atteint le résultat attendu dans les conditions prévues par la simulation.

Une nouvelle concurrence autour des données d’entraînement

La montée des environnements RL rebat les cartes d’un secteur jusqu’ici fortement associé à l’annotation de données. Les entreprises qui ont organisé la collecte, la préparation et l’évaluation de grands volumes de données veulent désormais répondre à cette demande plus interactive.

Surge a enregistré 1,2 milliard de dollars de chiffre d’affaires en 2024 et a créé une organisation dédiée à la mise en place d’environnements RL. De son côté, Scale AI, historiquement très présente dans l’étiquetage de données, fait face à une concurrence plus vive. Chetan Rane, responsable produit chez Scale AI, insiste sur la capacité d’adaptation de son entreprise : « Nous avons prouvé notre capacité à nous adapter rapidement. »

Cette compétition ne porte pas uniquement sur la quantité de données disponibles. Elle concerne la qualité des scénarios, la précision des critères d’évaluation, la diversité des cas couverts et la rapidité avec laquelle un environnement peut évoluer en même temps que les modèles. Une simulation utile aujourd’hui peut devenir insuffisante si un agent apprend à la contourner ou si les tâches réelles changent.

Pourquoi construire un environnement RL est si difficile

Concevoir un jeu de données demande déjà de définir les bonnes informations et de les annoter correctement. Un environnement interactif ajoute plusieurs difficultés. Il doit reproduire le comportement d’une application de façon assez réaliste pour que l’agent apprenne quelque chose de transférable. Il doit aussi rester contrôlable, afin de mesurer exactement les performances de l’agent.

Le problème se complique lorsque l’on veut couvrir les comportements inattendus. Un agent ne suit pas forcément le parcours imaginé par ses concepteurs. Il peut cliquer dans un ordre inhabituel, répéter une action, exploiter une incohérence d’interface ou s’engager dans une voie qui n’avait pas été anticipée. Or, si l’environnement se bloque dans ces cas, il devient moins utile comme terrain d’entraînement.

Les concepteurs doivent donc arbitrer entre plusieurs exigences :

• représenter des situations suffisamment variées pour éviter un apprentissage trop étroit ;
• définir des règles d’évaluation explicites et fiables ;
• empêcher les agents de profiter de défauts de la simulation ;
• produire assez de scénarios pour entraîner les modèles à grande échelle ;
• contenir les besoins de calcul, qui augmentent avec le nombre d’essais et de variations.

Cette dernière contrainte est déterminante. L’apprentissage par renforcement implique de faire agir l’agent à de nombreuses reprises et d’évaluer les résultats de chacune de ces tentatives. Les capacités de traitement nécessaires peuvent donc être nettement plus élevées que pour l’exploitation d’un simple corpus statique.

Le risque du « hacking de récompense »

Le danger le plus souvent cité dans ce type d’entraînement porte le nom de hacking de récompense. Le principe est le suivant : l’agent trouve un moyen d’obtenir le signal de réussite sans réaliser réellement l’objectif que les concepteurs avaient en tête.

Ross Taylor, expert de l’IA, alerte sur ce risque. Il ne s’agit pas nécessairement d’un comportement malveillant de la part du système. L’agent optimise simplement ce que l’environnement mesure. Si cette mesure est imparfaite, il peut découvrir un raccourci qui maximise sa récompense tout en produisant un résultat inutile, incomplet ou contraire à l’intention initiale.

Dans l’exemple d’un achat en ligne, un environnement mal conçu pourrait récompenser une suite de clics qui ressemble à un passage de commande, sans vérifier correctement que le bon produit a été sélectionné ou que la tâche a réellement été menée à son terme. Plus les objectifs sont complexes, plus le risque d’une telle divergence entre la récompense et le résultat recherché devient difficile à éliminer.

Ce phénomène rappelle une limite fondamentale de l’IA appliquée : une bonne performance sur un indicateur ne garantit pas automatiquement une bonne exécution dans le monde réel. Les environnements RL doivent donc être testés autant que les agents eux-mêmes.

Ce qu’il faut surveiller

La Silicon Valley espère voir émerger un acteur de référence des environnements d’apprentissage, comparable à ce que Scale AI a représenté pour l’étiquetage des données. Cette comparaison a ses limites : les environnements RL sont moins faciles à uniformiser, car ils dépendent des logiciels, des secteurs et des objectifs auxquels les agents sont destinés.

La question centrale sera celle du passage à l’échelle. Les fournisseurs pourront-ils créer des environnements suffisamment riches, fiables et nombreux pour suivre le rythme des laboratoires ? Pourront-ils réduire les coûts de calcul sans appauvrir les simulations ? Et surtout, les performances acquises dans ces mondes numériques se traduiront-elles par des agents réellement utiles dans des logiciels ordinaires ?

Les investissements se poursuivent malgré ces incertitudes, car l’enjeu est considérable. Si les agents deviennent capables de mener correctement des tâches longues et variées, leur entraînement ne reposera plus seulement sur ce qu’ils ont lu, mais sur ce qu’ils auront appris à faire. Les environnements d’apprentissage par renforcement pourraient alors devenir une pièce majeure de l’infrastructure de l’IA, à condition de prouver que leurs récompenses mesurent bien ce qui compte réellement.