Entraîner une IA dans le calme peut la rendre plus robuste face au chaos

Pour apprendre à un agent d’intelligence artificielle à agir dans un monde imprévisible, l’intuition paraît simple : il faudrait le confronter très tôt au désordre. Pannes, changements de règles, actions aux résultats incertains, informations incomplètes, tout cela semble devoir faire partie de sa formation. Des chercheurs du MIT arrivent pourtant à une conclusion plus nuancée. Dans certaines conditions, commencer dans un environnement calme et contrôlé peut préparer plus efficacement un agent au chaos qui l’attend ensuite.

Le phénomène, baptisé « effet d’entraînement en intérieur », a été observé dans des expériences d’apprentissage par renforcement menées sur des jeux Atari modifiés. L’idée n’est pas qu’un agent doit toujours éviter l’incertitude. Elle est plus précise : lorsque le bruit perturbe l’apprentissage des règles fondamentales d’un environnement, l’introduire trop tôt peut empêcher l’agent de développer les bonnes stratégies. Un entraînement initial plus lisible lui permet alors de mieux comprendre la structure du problème, puis de mieux réagir lorsque cette structure devient moins prévisible.

L’apprentissage par renforcement, une méthode fondée sur l’essai et l’erreur

L’étude s’inscrit dans le domaine de l’apprentissage par renforcement. Dans cette approche, un agent logiciel évolue dans un environnement, choisit des actions et reçoit des récompenses selon les conséquences de ses choix. Son objectif est d’apprendre progressivement une politique, autrement dit une manière de décider, qui maximise les récompenses obtenues au fil du temps.

Un jeu vidéo offre un terrain d’expérimentation utile pour ce type de recherche. L’agent reçoit une représentation de la situation, par exemple la position de son personnage et des éléments du décor, puis sélectionne une action. Selon le jeu, il gagne des points, évite un danger ou atteint un objectif. À force d’essais, il cherche à distinguer les décisions utiles de celles qui mènent à un échec.

Le problème se complique lorsque l’environnement devient incertain. Une même action peut alors conduire à des résultats différents, non pas parce que l’agent a mal appliqué sa stratégie, mais parce qu’un élément aléatoire est intervenu. Il faut donc apprendre à la fois les règles du système et la part d’imprévisibilité qui s’y ajoute.

Ce que recouvre l’effet d’entraînement en intérieur

Les chercheurs du MIT ont constaté qu’un agent pouvait parfois mieux se comporter dans un environnement perturbé après avoir été entraîné dans une version plus stable de ce même environnement. Ils qualifient ce résultat d’effet d’entraînement en intérieur, en référence à l’idée qu’un joueur peut apprendre les bases d’une discipline dans un cadre protégé avant d’affronter des conditions plus difficiles à l’extérieur.

Serena Bono, assistante de recherche au MIT Media Lab, l’illustre par l’exemple du tennis. Un agent pourrait d’abord apprendre un jeu complexe dans un cadre tranquille, sans éléments perturbateurs. Une fois confronté à un environnement plus turbulent, il pourrait alors se montrer plus performant qu’un autre agent ayant appris directement au milieu de ces perturbations.

Cette analogie aide à comprendre le résultat, mais elle ne signifie pas que la simplicité suffit à créer de la robustesse. L’environnement calme doit conserver les règles essentielles de la tâche. S’il est trop éloigné de la situation finale, l’agent risque d’apprendre des réflexes inadaptés. L’intérêt de la méthode tient précisément à cet équilibre : retirer, durant certaines phases, ce qui masque les mécanismes fondamentaux sans supprimer ce qui fait l’identité du problème à résoudre.

Des jeux Atari modifiés pour introduire l’incertitude

Pour tester cette hypothèse, l’équipe a fait jouer des agents IA à des jeux Atari modifiés. Ces jeux sont couramment employés pour évaluer l’apprentissage par renforcement, car leurs règles sont clairement définies tout en exigeant des décisions rapides et adaptées au contexte.

Les chercheurs ont introduit un facteur d’imprévisibilité dans ces environnements. Plus précisément, ils ont mis en œuvre une technique permettant de générer du bruit ciblé dans la fonction de transition. Cette fonction est un élément central de la description d’un environnement : elle détermine comment celui-ci passe d’un état à un autre après l’action de l’agent.

Dans un jeu parfaitement déterministe, une action donnée dans une situation donnée entraîne le même résultat. En ajoutant du bruit à cette transition, les chercheurs rendent le passage à l’état suivant plus incertain. L’agent ne peut donc plus s’appuyer sur une correspondance totalement stable entre ses actions et leurs conséquences.

Dans le cas de Pac-Man, les résultats se sont révélés contre-intuitifs. Lorsqu’ils ont été confrontés à une version bruitée du jeu, les agents entraînés dans une version sans bruit ajouté se sont montrés supérieurs à leurs homologues formés directement dans un environnement bruyant. L’effet a également été constaté de manière cohérente dans diverses variantes de jeux étudiées par l’équipe.

Cette observation ne renverse pas à elle seule tous les principes de l’entraînement robuste. Elle montre en revanche que l’ajout de variabilité pendant la formation n’est pas automatiquement bénéfique. Son effet dépend de ce qui est perturbé, de la tâche concernée et de la manière dont l’agent apprend à explorer.

Pourquoi apprendre dans le bruit peut compliquer la découverte des règles

Un agent d’apprentissage par renforcement ne reçoit pas une explication écrite des règles. Il doit les inférer à partir de ses interactions. S’il avance, observe un résultat positif, puis reproduit une action semblable, il construit peu à peu une représentation pratique de ce qui fonctionne. Or, si les conséquences de ses gestes sont trop fréquemment modifiées par le bruit, cette association devient plus difficile à établir.

C’est comme tenter d’apprendre le fonctionnement d’une machine dont les commandes ne réagissent pas toujours de la même manière. L’apprenant doit déterminer si un résultat vient réellement de son action, d’une règle cachée ou d’une perturbation aléatoire. L’incertitude peut ainsi ralentir l’acquisition des compétences de base.

Les analyses menées par l’équipe soulignent l’importance des schémas d’exploration. Explorer ne consiste pas seulement à essayer beaucoup d’actions. Il s’agit d’essayer des actions suffisamment variées et pertinentes pour découvrir les régularités utiles. Les agents entraînés dans un environnement calme peuvent, dans certaines situations, explorer plus efficacement les règles du jeu. Ils disposent alors de stratégies plus solides lorsque le bruit apparaît.

Les chercheurs rapportent toutefois une limite importante : le résultat dépend de la relation entre les comportements d’exploration dans les différents environnements. Lorsque les schémas d’exploration diffèrent, l’agent formé dans le cadre incertain peut au contraire mieux réussir. Il s’est alors adapté à des modèles de jeu plus complexes. L’effet d’entraînement en intérieur n’est donc pas une recette universelle, mais un phénomène à prendre en compte dans la conception d’un protocole d’apprentissage.

Une piste pour mieux organiser l’entraînement des agents

Ce résultat invite à considérer l’apprentissage comme une progression plutôt que comme une exposition immédiate à toutes les difficultés. Une première étape, stable et lisible, peut aider l’agent à acquérir les compétences de base. Une phase ultérieure peut ensuite le confronter à davantage d’incertitude afin de vérifier s’il conserve ses capacités d’action lorsque les conditions changent.

Une telle organisation rappelle les méthodes d’apprentissage graduelles utilisées dans d’autres contextes : commencer par les principes essentiels, puis augmenter la difficulté. Pour les agents IA, la différence est que cette progression doit être soigneusement définie. Il faut savoir quels éléments simplifier, lesquels conserver et quelles perturbations ajouter ensuite.

L’intérêt potentiel est double : améliorer les performances et rendre l’entraînement plus efficace. Si un agent identifie plus rapidement les règles pertinentes dans une simulation contrôlée, il peut éviter de gaspiller des essais sur des signaux trop confus. Mais les chercheurs ne prétendent pas que toute simulation simple produit cet avantage. Une simplification mal conçue peut détourner l’agent du véritable objectif.

Les expériences citées portent sur des jeux, et il serait prématuré d’en déduire qu’un système autonome opérant dans le monde réel se comporterait de la même façon. Entre une partie de Pac-Man et un robot, un véhicule autonome ou un logiciel de gestion d’infrastructure, les situations, les conséquences d’une erreur et les sources d’incertitude sont très différentes. Les jeux permettent néanmoins de mettre à l’épreuve des hypothèses de manière reproductible, avant de les étudier dans des cadres plus complexes.

Quelles applications envisager au-delà du jeu vidéo ?

Les chercheurs envisagent d’étendre l’étude de cet effet à des environnements d’apprentissage par renforcement plus sophistiqués, potentiellement liés à la vision par ordinateur ou au traitement du langage naturel. Dans ces domaines, un agent peut devoir agir à partir d’informations ambiguës, incomplètes ou variables.

Dans l’industrie, des systèmes autonomes peuvent être amenés à fonctionner dans des infrastructures où les conditions ne sont jamais parfaitement stables. La promesse de cette piste est de concevoir des environnements d’entraînement qui donnent aux agents des bases solides avant de les confronter aux aléas auxquels ils devront répondre. Cela pourrait être pertinent partout où précision et capacité d’adaptation sont nécessaires.

Il faut toutefois distinguer une hypothèse de recherche d’un déploiement opérationnel. Avant toute application, il faudrait vérifier que l’effet se retrouve dans la tâche concernée, mesurer les types de perturbations réellement rencontrés et tester les limites de l’agent. Un système entraîné sur des données ou des scénarios trop propres peut aussi échouer face à un changement qu’il n’a jamais appris à reconnaître.

Ce qu’il faut surveiller

La question centrale ouverte par ces travaux est celle de la bonne séquence d’apprentissage. À quel niveau de difficulté faut-il commencer ? Quel bruit doit être retiré temporairement, et lequel doit au contraire rester présent dès le départ ? Comment vérifier que l’agent a appris les règles importantes plutôt qu’une astuce propre à la simulation ?

Les prochaines expérimentations devront notamment déterminer si l’effet d’entraînement en intérieur se maintient dans des environnements plus riches que les jeux Atari. Elles devront aussi préciser les mécanismes d’exploration qui expliquent le résultat observé. Si cette piste se confirme, elle pourrait aider les concepteurs d’agents IA à bâtir des formations moins coûteuses en essais et mieux adaptées aux incertitudes du terrain.

En janvier 2025, la leçon principale est donc prudente mais significative : pour rendre une IA capable d’affronter le désordre, il peut être utile de lui apprendre d’abord à voir clairement les règles du jeu.