Dreamer, l’IA de Google DeepMind qui apprend à trouver des diamants dans Minecraft

Dans un jeu comme Minecraft, trouver un diamant ne consiste pas simplement à se déplacer vers un objet visible. Il faut réunir des ressources, fabriquer plusieurs outils dans le bon ordre, creuser, explorer et survivre aux dangers du sous-sol. C’est cette succession de décisions, plutôt que le diamant lui-même, qui intéresse Google DeepMind avec Dreamer, un agent d’intelligence artificielle capable d’apprendre la tâche à partir de zéro.

L’expérience, mise en avant au début d’avril 2025, dépasse le cadre d’une démonstration ludique. Elle étudie une question centrale pour l’IA : comment un système peut-il comprendre progressivement un environnement, prévoir l’effet de ses gestes et bâtir une stratégie sans qu’un humain lui fournisse une liste détaillée d’instructions ? Dans Minecraft, Dreamer parvient à miner un diamant après neuf jours d’apprentissage, avec une performance de l’ordre de 30 minutes pour accomplir l’objectif.

Dreamer apprend à partir de zéro, et non sans apprendre

La formule « sans apprentissage » peut prêter à confusion. Dreamer n’arrive évidemment pas dans Minecraft en sachant déjà fabriquer une pioche ou localiser un filon. Le système apprend bien pendant l’expérience. Ce qui le distingue ici est l’absence de parcours humain préétabli : il ne reçoit pas une procédure pas à pas lui indiquant quelle ressource chercher, quel outil fabriquer ensuite ou à quel endroit creuser.

Le point de départ est donc particulièrement exigeant. Dans un monde généré par le jeu, l’agent doit découvrir les règles pertinentes à travers les conséquences de ses actions. Une action utile le rapproche de la progression, tandis qu’une mauvaise décision peut lui faire perdre du temps ou l’exposer à un danger, notamment la lave.

Cette autonomie relative est importante. Dans de nombreux systèmes informatiques traditionnels, les règles sont explicitement écrites par des programmeurs. À l’inverse, l’apprentissage par renforcement cherche à faire émerger un comportement efficace par essais successifs, guidés par un signal de récompense. L’agent explore, observe le résultat, ajuste ses choix et recommence.

Pourquoi trouver un diamant est-il un test difficile dans Minecraft ?

Les diamants constituent une ressource précieuse dans Minecraft, car ils permettent d’améliorer l’équipement. Mais leur obtention suppose une chaîne d’actions longue et dépendante de plusieurs conditions. Un joueur humain expérimenté peut avoir besoin d’environ 30 minutes à une heure pour parvenir à en miner un, selon les circonstances rencontrées dans sa partie.

Dreamer doit résoudre ce problème comme un ensemble d’étapes liées. Il ne suffit pas de savoir que le diamant est l’objectif final : l’agent doit aussi comprendre que certains objets intermédiaires sont indispensables. Couper des arbres permet d’obtenir les matériaux initiaux. Ceux-ci servent à fabriquer une table et des outils de base. La progression passe ensuite par l’obtention d’un outil plus robuste, généralement en fer, avant de pouvoir explorer efficacement les profondeurs.

Cette structure fait de Minecraft un terrain d’essai plus riche qu’un jeu aux règles simples et aux objectifs immédiats. La récompense finale est éloignée des premières actions. Couper un arbre ne rapporte pas un diamant, mais cette action devient indispensable plusieurs étapes plus tard. Pour une IA, relier des décisions éloignées dans le temps à un résultat final constitue un problème majeur.

L’apprentissage par renforcement, au cœur de la méthode

Dreamer s’appuie sur l’apprentissage par renforcement, une famille de méthodes dans laquelle un agent cherche à maximiser des récompenses au fil de ses interactions. Le terme ne désigne pas des félicitations au sens humain, mais des signaux qui indiquent mathématiquement si une trajectoire va dans une direction utile.

Dans le cas présent, la difficulté ne réside pas uniquement dans le fait d’essayer beaucoup d’actions. Explorer au hasard serait très inefficace dans un univers aussi vaste. Dreamer doit également construire un modèle de son environnement, souvent appelé modèle du monde. En termes simples, il développe une représentation interne des liens entre ses actions et leurs conséquences probables.

Cette capacité d’anticipation lui permet d’évaluer des choix avant de les pousser jusqu’à leur résultat. Dans la quête du diamant, l’agent doit notamment apprendre qu’une action de récolte peut ouvrir l’accès à une fabrication, laquelle peut ensuite rendre possible une exploration plus profonde. Il ne s’agit pas seulement de réagir à ce qui apparaît immédiatement à l’écran, mais de planifier une trajectoire vers un objectif distant.

Le fonctionnement peut se résumer ainsi :

• Dreamer observe la situation dans laquelle il se trouve et choisit une action.
• Le jeu lui renvoie un nouvel état du monde et les conséquences de cette action.
• L’agent ajuste son modèle interne afin de mieux prévoir les résultats de choix comparables.
• À force d’interactions, il privilégie les séquences qui le rapprochent de la progression recherchée.

Cette approche explique pourquoi l’expérience intéresse les chercheurs en robotique. Un robot utile dans un entrepôt, un atelier ou un laboratoire ne peut pas se contenter de répéter un geste isolé. Il doit souvent tenir compte d’objets, d’obstacles, de prérequis et d’effets différés.

Neuf jours d’apprentissage dans des mondes sans cesse renouvelés

La progression de Dreamer ne s’effectue pas dans un décor fixe qu’il pourrait mémoriser. Dans l’expérience, les chercheurs réinitialisent l’univers de jeu toutes les 30 minutes. Cette contrainte empêche l’agent de se contenter de reproduire le trajet qui a fonctionné dans une carte particulière.

Chaque nouvelle partie lui demande de retrouver ses repères, de rechercher les ressources et d’adapter sa stratégie aux conditions rencontrées. C’est un aspect décisif du test : une IA capable d’exécuter une suite d’actions dans un environnement immuable n’est pas nécessairement capable de s’adapter à une situation nouvelle.

Après neuf jours de ce processus, Dreamer atteint un niveau lui permettant de miner un diamant en environ 30 minutes. Google DeepMind compare ce résultat à une performance de joueur humain expérimenté. Il convient toutefois de bien interpréter cette comparaison. Elle porte sur cet objectif précis, dans le cadre expérimental retenu, et non sur l’ensemble des compétences d’un joueur humain ni sur une intelligence générale comparable à celle d’une personne.

Minecraft, un laboratoire pour tester les agents autonomes

Les jeux vidéo servent depuis longtemps de terrains d’expérimentation pour l’intelligence artificielle. Leur intérêt est double : ils offrent des règles contrôlables et permettent de répéter les essais sans risque matériel. Minecraft apporte une difficulté supplémentaire grâce à ses mondes vastes, à la diversité des ressources et à ses objectifs qui exigent de combiner plusieurs étapes.

Pour les chercheurs, ce type d’environnement permet d’observer des capacités qui sont utiles bien au-delà du jeu : explorer, collecter, fabriquer, hiérarchiser des sous-objectifs et éviter des situations défavorables. Un agent qui apprend à convertir des ressources simples en outils plus performants montre une forme de planification pratique.

Le renouvellement régulier des cartes est tout aussi révélateur. Il teste la capacité de généralisation, c’est-à-dire l’aptitude à utiliser ce qui a été appris dans une situation qui n’est pas exactement celle rencontrée auparavant. Cette généralisation est l’un des grands défis de l’IA : une machine peut être très compétente sur un scénario familier tout en échouant dès que le contexte change légèrement.

Minecraft reste néanmoins un monde numérique. Ses règles sont définies, ses objets sont identifiables et ses interactions répondent à une logique programmée. Le réel est plus instable : les objets peuvent glisser, être partiellement cachés, se casser ou se comporter de manière imprévisible. Passer d’un agent performant dans un jeu à un robot fiable dans un environnement physique est donc une étape distincte, et beaucoup plus complexe.

Ce que cette avancée peut apporter à la robotique

Danijar Hafner, scientifique chez Google DeepMind associé aux travaux sur Dreamer, met en avant l’intérêt de systèmes capables de s’améliorer par leurs propres interactions et d’anticiper les conséquences de leurs actions. Cette faculté est centrale pour imaginer des machines moins dépendantes de scripts figés.

Dans l’industrie, un agent autonome pourrait, en théorie, devoir choisir les bonnes étapes pour préparer une opération, manipuler les ressources disponibles et s’adapter à un imprévu. En robotique, il pourrait être utile de prévoir qu’un déplacement rapproche un bras mécanique d’un objet tout en risquant de le heurter. Dans le domaine médical, l’enjeu ne serait pas de transposer directement un agent de jeu, mais de mieux concevoir des systèmes capables d’analyser un contexte complexe avant d’agir, sous des règles de sécurité beaucoup plus strictes.

Ces perspectives restent des pistes de recherche, pas des applications immédiates. La démonstration dans Minecraft ne prouve pas qu’un système peut déjà intervenir de façon autonome dans une usine, un hôpital ou un domicile. Avant toute utilisation réelle, il faut notamment évaluer la fiabilité de l’agent dans des situations inhabituelles, sa capacité à expliquer ou signaler ses incertitudes, ainsi que les mécanismes permettant à un humain de reprendre le contrôle.

L’expérience montre surtout un changement de méthode. Plutôt que de programmer à la main toutes les réponses possibles, les chercheurs cherchent à développer des agents capables d’acquérir eux-mêmes des stratégies. Plus la tâche est longue et imprévisible, plus cette capacité peut devenir intéressante.

Ce qu’il faut surveiller

La prochaine question n’est pas de savoir si une IA peut obtenir davantage de diamants, mais si les capacités observées résistent à des environnements plus variés et plus proches du monde physique. Les recherches devront notamment vérifier si un même système peut transférer ses apprentissages d’un univers virtuel à un autre, apprendre avec moins d’essais et rester fiable quand ses prédictions sont imparfaites.

Il faudra aussi mesurer le coût de ces apprentissages. Une IA qui progresse de manière autonome peut être prometteuse, mais son intérêt pratique dépendra du temps, de la puissance de calcul et des données d’interaction nécessaires pour obtenir un comportement robuste.

Dreamer illustre ainsi une direction importante de la recherche en IA : construire des systèmes qui ne se limitent pas à répondre à une demande, mais qui peuvent observer, anticiper et organiser une suite d’actions. Dans Minecraft, l’objectif est un diamant. Dans le monde réel, les exigences de sécurité, de fiabilité et de contrôle humain seront incomparablement plus élevées.