Pokémon Rouge et deep learning : ce que 50 000 heures d’IA nous apprennent

Une partie de Pokémon Rouge peut sembler être un terrain d’apprentissage idéal pour une machine : les règles sont stables, les actions sont limitées et les objectifs paraissent limpides. Il faut explorer, constituer une équipe, remporter des combats et avancer vers les arènes. Pourtant, l’expérience menée par le créateur de contenu Peter Whidden, qui a entraîné une IA durant 50 000 heures sur ce jeu, rappelle une réalité essentielle du deep learning : définir un but ne suffit pas à faire émerger une stratégie fiable dans toutes les situations.

Le résultat n’est ni l’histoire d’un ordinateur devenu soudainement meilleur qu’un joueur, ni celle d’un programme incapable de faire quoi que ce soit. L’agent progresse, prend des initiatives étonnantes et bat le premier champion d’arène. Mais il finit aussi par échouer devant un problème que beaucoup de joueurs résoudraient avec une carte, de la mémoire ou quelques essais méthodiques : sortir de la Grotte Sombre pour rejoindre Azuria. Au 1er novembre 2023, cette aventure dans un jeu de 1996 reste une démonstration accessible de ce que l’apprentissage profond sait faire, et de ce qu’il ne garantit pas.

Le deep learning, un apprentissage à partir d’exemples et de retours

Le deep learning, ou apprentissage profond, est une branche de l’apprentissage automatique fondée sur des réseaux de neurones artificiels comportant plusieurs couches de calcul. Ces réseaux transforment progressivement des données d’entrée, par exemple des pixels, du texte, du son ou l’état d’un jeu, afin de produire une réponse : reconnaître une image, prédire un mot, recommander un contenu ou choisir une action.

La différence importante avec un programme traditionnel tient moins à l’absence totale de règles qu’à la manière dont ses paramètres sont obtenus. Un programme classique peut être écrit sous la forme d’instructions explicites : si le personnage rencontre tel obstacle, faire telle action. Avec l’apprentissage profond, les concepteurs fournissent plutôt une architecture, des données ou un environnement, ainsi qu’un mécanisme de retour permettant d’évaluer les résultats. Durant l’entraînement, le système ajuste progressivement un très grand nombre de paramètres internes pour améliorer ses décisions.

Dans le cas d’un jeu vidéo, l’agent doit composer avec plusieurs difficultés à la fois :

• percevoir ce qui se passe à l’écran ou dans l’état du jeu ;
• sélectionner une action parmi les commandes disponibles ;
• relier une décision présente à une conséquence parfois très éloignée ;
• répéter ces essais à grande échelle sans se lasser ;
• conserver, ou non, une trace utile des expériences précédentes.

Cela ne signifie pas que la machine « comprend » spontanément les intentions du joueur. Elle recherche avant tout des régularités qui améliorent le résultat selon le cadre d’apprentissage fixé. Cette nuance aide à comprendre pourquoi un agent peut découvrir une astuce très efficace dans une situation précise, puis échouer face à une difficulté apparemment banale.

Pourquoi Pokémon Rouge est un laboratoire parlant

Pokémon Rouge offre une succession d’objectifs faciles à identifier pour un humain : quitter Bourg-Palette, traverser des zones, capturer des créatures, gagner des combats et atteindre des villes. Mais la simplicité apparente du jeu masque une structure exigeante pour une IA. Les zones comportent des passages, des obstacles, des combats aléatoires, des ressources limitées et des embranchements. Une mauvaise décision peut coûter du temps, des objets ou un retour en arrière important.

Surtout, avancer n’est pas toujours récompensé immédiatement. Pour gagner un combat plus tard, il faut parfois capturer le bon Pokémon, l’entraîner, apprendre une attaque adaptée ou emprunter une route moins directe. Un joueur humain mobilise naturellement des connaissances extérieures, des souvenirs, des hypothèses et une compréhension générale de la progression dans un jeu de rôle. Un agent entraîné doit, lui, tirer ses comportements de ce que son expérience lui permet de détecter.

C’est ce qui rend les jeux anciens intéressants pour étudier l’apprentissage automatique. Leur univers est plus circonscrit que le monde réel, leurs actions sont définies et leurs conséquences peuvent être observées. Pourtant, ils exigent déjà de l’exploration, de la planification et une capacité à ne pas confondre une habitude locale avec une stratégie valable partout.

50 000 heures d’essais, de captures et de progrès

Au cours de ces 50 000 heures d’entraînement, l’IA de Peter Whidden ne reste pas immobile au point de départ. Elle explore les environs, capture des Pokémon et parvient à avancer dans l’aventure. Elle atteint notamment le premier champion d’arène, Brock, et le bat.

Cette victoire est révélatrice de la nature concrète de l’apprentissage dans un jeu. L’agent dispose alors de l’attaque Bulle, sa dernière attaque disponible, qui se révèle efficace contre les Pokémon de type Roche utilisés par Brock. Pour un joueur, le raisonnement paraît familier : les types et les attaques ont des forces et des faiblesses. Pour l’IA, l’épisode montre surtout qu’un enchaînement de décisions et de circonstances peut déboucher sur une solution fonctionnelle.

Le résultat ne doit toutefois pas être réduit à un coup de chance ni interprété comme la preuve d’une maîtrise générale de Pokémon Rouge. La progression jusqu’à Brock témoigne d’une capacité à accomplir plusieurs étapes du jeu. Mais elle ne dit pas que l’agent possède une carte mentale complète de Kanto, qu’il sait expliquer sa tactique ou qu’il saura transférer facilement ce qu’il a appris à une autre version de Pokémon.

C’est une distinction centrale en IA : réussir une tâche observée, même après un grand nombre d’essais, n’équivaut pas automatiquement à comprendre toutes les règles et tous les objectifs qui l’entourent. Les performances doivent toujours être rapportées au cadre exact de l’expérience.

Une optimisation surprenante à la sortie de Bourg-Palette

L’un des comportements les plus intéressants observés par Peter Whidden apparaît dès le départ, près de Bourg-Palette. L’IA emprunte systématiquement un trajet qui peut paraître étrange à la sortie du premier village. À première vue, cette répétition ressemble à un détour inutile ou à une erreur de navigation.

L’explication est plus subtile : ce parcours lui permet d’assurer la capture du prochain Pokémon avec une seule Pokéball. Autrement dit, l’agent a identifié une régularité exploitable dans le jeu pour économiser une ressource précieuse. Là où un humain pourrait ne pas remarquer les mécanismes liés à l’aléatoire des captures, ou les accepter sans chercher à les exploiter, l’IA répète sans fatigue les séquences qui lui donnent le meilleur résultat.

Ce type de découverte est l’un des apports les plus parlants des systèmes d’apprentissage. Ils peuvent mettre au jour des stratégies contre-intuitives, parfois parce qu’ils explorent des combinaisons qu’un joueur ne songerait pas à tester aussi longtemps. Leur force n’est pas une intuition humaine reproduite à l’identique. Elle réside dans leur capacité à repérer, à grande échelle, des liens entre des actions et leurs effets.

Mais une stratégie efficace peut être très étroite. Elle est adaptée à une configuration particulière, sans nécessairement constituer une méthode générale pour progresser dans le jeu. L’itinéraire de Bourg-Palette illustre donc à la fois une vraie compétence d’optimisation et l’importance de ne pas prêter trop vite à l’agent une compréhension plus vaste qu’il n’en a démontré.

La Grotte Sombre, un obstacle plus difficile qu’un combat

Après la victoire contre Brock, l’aventure se complique fortement. L’IA se retrouve bloquée dans la Grotte Sombre, un lieu labyrinthique dont les chemins se ressemblent. Elle ne parvient pas à atteindre Azuria, où se trouve la deuxième arène.

Cet échec est particulièrement instructif parce qu’il ne repose pas sur une mécanique spectaculaire. Il ne s’agit pas de battre un adversaire aux statistiques exceptionnelles ni d’exécuter une commande rare. Le problème est spatial et séquentiel : il faut différencier des embranchements similaires, mémoriser ce qui a déjà été tenté, éviter de revenir sans cesse au même point et maintenir un objectif éloigné à travers de nombreuses actions.

Pour un humain, une grotte peut être résolue avec des outils cognitifs simples : se souvenir d’un embranchement, dessiner un plan, suivre un mur, consulter une carte ou changer de méthode après plusieurs échecs. Un agent n’adopte pas spontanément ces heuristiques, sauf si son entraînement et sa représentation du problème lui permettent d’en faire émerger l’équivalent.

La Grotte Sombre met ainsi en évidence une limite majeure des systèmes entraînés dans un environnement complexe : la difficulté des objectifs à long terme. Un comportement peut être performant à court terme, comme optimiser une capture ou gagner un combat, tout en étant insuffisant pour organiser une progression durable dans un espace ambigu.

Ce que cette expérience dit vraiment des IA

Il serait tentant d’opposer une machine méthodique, capable de jouer des dizaines de milliers d’heures, à un humain supposé naturellement créatif. La réalité est plus utile et plus précise. L’IA observée ici possède des avantages réels : elle peut effectuer une immense quantité de tentatives, répéter exactement une procédure et détecter des régularités fines dans un système aux règles stables. Ces qualités sont précieuses dans des domaines où l’on peut définir des mesures de réussite et produire beaucoup de données d’entraînement.

À l’inverse, elle dépend fortement de la façon dont le problème est formulé. Si le signal qui distingue le progrès de l’errance est insuffisant, si une zone comporte trop de situations visuellement ou structurellement proches, ou si la réussite exige une planification lointaine, l’agent peut s’enfermer dans des comportements limités. Sa difficulté dans la Grotte Sombre n’annule pas sa victoire contre Brock. Elle en délimite simplement la portée.

L’expérience rappelle aussi qu’il faut employer avec prudence l’expression « apprendre de manière autonome ». Une IA peut améliorer ses performances sans qu’un humain programme chaque action une par une. En revanche, elle reste dépendante du cadre conçu par des humains : environnement, actions possibles, objectifs, ressources de calcul et méthode d’évaluation. Son autonomie est donc une autonomie à l’intérieur d’un dispositif donné.

Ce qu’il faut surveiller dans les futurs tests

Des expériences similaires, dans les jeux comme dans d’autres domaines, peuvent aider à mieux comprendre ce qui fait progresser ou échouer un système d’apprentissage profond. L’enjeu ne consiste pas seulement à obtenir un score plus élevé. Il s’agit aussi d’observer comment l’agent atteint ce score, s’il peut s’adapter à une situation inattendue et si sa stratégie reste valable lorsque l’environnement change légèrement.

Pour juger ce type de démonstration, quelques questions sont particulièrement utiles : l’agent a-t-il résolu le problème par une règle robuste ou par une astuce propre à une situation ? Peut-il reproduire son succès dans un autre contexte ? Quels comportements indésirables adopte-t-il pour maximiser son résultat ? Et surtout, que mesure exactement l’objectif choisi ?

Dans Pokémon Rouge, le contraste entre la capture optimisée à Bourg-Palette, la victoire contre Brock et l’impasse de la Grotte Sombre fournit une réponse concrète : les systèmes de deep learning peuvent apprendre beaucoup de choses par l’expérience, mais leurs réussites sont indissociables des conditions précises dans lesquelles ils ont été entraînés. C’est en analysant ces succès partiels autant que leurs blocages que la recherche peut rendre les IA plus fiables, plus adaptables et plus compréhensibles.