Super Mario Bros. sert de terrain de jeu pour tester les modèles d’intelligence artificielle

Faire progresser Mario jusqu’à la fin d’un niveau semble être une tâche élémentaire pour un joueur expérimenté. Pour un système d’intelligence artificielle, elle rassemble pourtant plusieurs difficultés concrètes : interpréter une scène qui change sans cesse, estimer la distance d’un obstacle, agir au bon moment, puis revoir sa stratégie après un échec. C’est précisément ce qui intéresse des chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, qui explorent l’usage de Super Mario Bros. comme instrument d’évaluation de modèles d’IA.

L’idée ne consiste pas à sacrer un modèle « meilleur joueur » au sens habituel. Le jeu sert plutôt de laboratoire simplifié pour observer comment un système prend des décisions dans un environnement dynamique. Là où de nombreux benchmarks demandent de répondre à une question ou de résoudre un problème isolé, un jeu de plateforme impose une succession d’actions dépendantes les unes des autres. Un saut trop court, une hésitation ou une mauvaise anticipation peuvent mettre fin à la partie.

Cette méthode illustre une évolution importante dans l’évaluation de l’IA : au-delà de la qualité d’une réponse écrite, les chercheurs cherchent à mesurer la capacité d’un modèle à agir, à s’adapter et à gérer les conséquences de ses décisions.

Pourquoi les benchmarks classiques ne suffisent pas toujours

Les benchmarks sont indispensables à la recherche en IA. Ils permettent de comparer des modèles selon un protocole commun : répondre à des questions, résoudre des exercices de logique, traduire un texte, écrire du code ou analyser un document. Leur grand avantage est la reproductibilité : plusieurs systèmes reçoivent les mêmes consignes et leurs résultats peuvent être mis en regard.

Mais ces évaluations ont une limite connue. Elles reposent souvent sur des données fixes, préparées à l’avance. Dans ce cadre, un modèle peut produire une réponse convaincante sans avoir à gérer le passage du temps, des informations incomplètes ou les effets immédiats de ses actions.

Un jeu comme Super Mario Bros. introduit justement ces dimensions. La situation évolue à chaque instant. Le personnage avance, les obstacles arrivent, des ennemis se déplacent et l’action ne peut pas être interrompue indéfiniment pour réfléchir. Réussir exige donc une forme de boucle continue : observer, décider, agir, constater le résultat et ajuster l’action suivante.

Les capacités recherchées ne se limitent pas à la connaissance du jeu. Elles concernent des aptitudes générales que l’on retrouve dans d’autres systèmes autonomes :

• la perception d’éléments pertinents dans un environnement visuel ;
• la planification à court terme, par exemple choisir le bon moment pour sauter ;
• le timing, crucial quand l’action doit être lancée avant qu’un danger ne soit trop proche ;
• l’adaptation, lorsqu’une stratégie qui fonctionnait ne suffit plus ;
• la correction d’erreurs, après un échec ou une interprétation erronée de la situation.

Ce que le jeu permet d’observer chez une IA

Dans cette approche, Super Mario Bros. devient un environnement d’évaluation à la fois simple à comprendre pour le public et riche en contraintes pour une machine. Le jeu est linéaire dans son principe, Mario doit atteindre la sortie, mais il exige une précision constante. Il ne suffit pas de connaître l’objectif : il faut exécuter chaque action dans le bon ordre et au bon moment.

Les chercheurs peuvent ainsi examiner le comportement d’un modèle face à des défis spécifiques. Parvient-il à reconnaître un obstacle suffisamment tôt ? Anticipe-t-il la trajectoire nécessaire ? Réagit-il correctement après un saut raté ? Peut-il éviter de reproduire immédiatement une décision qui a conduit à l’échec ?

Le tableau ci-dessous résume ce que ce type de test peut apporter, et ce qu’il ne permet pas d’affirmer à lui seul.

Cette nuance est essentielle. Le jeu fournit un indicateur de comportement, pas une certification générale. Une IA peut apprendre à optimiser ses décisions dans un environnement très codifié sans disposer pour autant du bon sens, de la compréhension profonde ou des garanties de sécurité attendues dans la santé, les transports ou les services publics.

Claude 3.7 parmi les modèles observés

Les travaux rapportés par le Hao AI Lab comparent les réactions de différents modèles d’intelligence artificielle aux défis du jeu. Dans un tel cadre, la différence ne se joue pas seulement sur la réponse finale. Elle peut apparaître dans la capacité à interpréter la scène, à formuler une décision exploitable et à modifier cette décision lorsque la partie évolue.

Selon les résultats évoqués, Claude 3.7, le modèle d’Anthropic, se démarque par sa capacité à s’adapter efficacement aux difficultés rencontrées dans Super Mario Bros.. Cette observation doit être lue avec prudence. Elle décrit une performance dans les conditions retenues par l’évaluation, avec une interface, des règles et des scénarios déterminés. Elle ne constitue pas un classement universel des modèles d’IA.

C’est l’une des règles fondamentales de la comparaison entre modèles : les résultats dépendent du protocole. Le même système peut être avantagé ou pénalisé selon les informations qu’il reçoit, le temps accordé pour décider, les actions qu’il est autorisé à effectuer et la manière dont le score est calculé. Pour qu’un benchmark soit réellement utile, ces paramètres doivent être clairement décrits et les essais, si possible, reproductibles.

MarioGPT et la création de niveaux pour varier les tests

Le projet ne se limite pas au fait de faire jouer une IA sur des niveaux existants. La publication d’origine mentionne aussi MarioGPT, un système consacré à la génération autonome de nouveaux niveaux inspirés de Super Mario Bros.. Cette capacité ajoute une dimension intéressante à l’évaluation : au lieu de confronter constamment les modèles aux mêmes séquences, il devient possible de leur proposer une diversité de parcours.

L’enjeu est important. Si les niveaux restent toujours identiques, un système pourrait tirer parti de régularités très spécifiques. Il risquerait d’apprendre à reproduire une recette efficace plutôt que de montrer une réelle capacité d’adaptation. Des niveaux générés peuvent faire varier l’emplacement des plateformes, le rythme des obstacles ou la nature des passages délicats.

Cela ne garantit pas automatiquement un meilleur benchmark. La génération de niveaux pose elle-même plusieurs questions méthodologiques. Les parcours doivent rester jouables, cohérents et comparables. Ils ne doivent pas favoriser artificiellement un type particulier de stratégie. Enfin, le protocole doit distinguer ce qui relève de la compétence du modèle évalué et ce qui relève de la difficulté, ou des défauts éventuels, du niveau généré.

Des jeux vidéo pour tester la décision en temps réel

Les jeux vidéo sont depuis longtemps utilisés en recherche sur l’intelligence artificielle. Ils offrent des règles explicites, des objectifs mesurables et la possibilité de répéter les essais. Ils permettent également d’augmenter progressivement la difficulté, ce qui aide à observer le moment où une méthode cesse de fonctionner.

Super Mario Bros. présente un intérêt particulier pour l’étude de la prise de décision rapide. Les niveaux de plateforme 2D combinent une lecture visuelle assez immédiate avec des contraintes de précision. La progression dépend d’actions courtes, mais leurs conséquences s’accumulent : perdre une vie, manquer un bonus ou se retrouver dans une mauvaise position modifie la suite de la partie.

Par rapport à un jeu davantage fondé sur les tours ou sur la stratégie à long terme, le défi met donc fortement l’accent sur la réaction et la synchronisation. Cette différence ne rend pas un type de jeu intrinsèquement supérieur à un autre. Elle signifie plutôt que chaque univers vidéoludique éclaire une facette différente du comportement d’une IA.

Pour l’évaluation, il est utile de combiner ces univers. Un modèle confronté à une tâche de langage, à un jeu de stratégie, à un environnement de navigation et à un exercice de programmation ne révèle pas les mêmes forces ni les mêmes fragilités. Aucun résultat unique ne suffit à résumer ses capacités.

Les limites à ne pas oublier

L’aspect ludique de cette démarche peut faire oublier la difficulté scientifique de l’exercice. D’abord, l’interface entre le modèle et le jeu compte énormément. Un système n’agit pas spontanément sur une manette. Il faut lui fournir des informations sur l’état de la partie et convertir ses décisions en commandes. La façon dont ces éléments sont conçus influe directement sur le résultat.

Ensuite, une réussite dans un jeu ne permet pas de conclure qu’une IA comprend le monde comme un humain. Elle peut produire des actions efficaces à partir de signaux et de règles, sans expérience vécue ni conscience. Les débats sur une éventuelle conscience des machines sont distincts des mesures de performance réalisées dans un environnement de jeu.

Enfin, les applications réelles comportent souvent des enjeux absents d’un niveau de plateforme : protection des données, responsabilité en cas d’erreur, risques de discrimination, contraintes réglementaires et conséquences humaines. Un benchmark inspiré du jeu vidéo peut améliorer l’observation technique des modèles, mais il ne dispense jamais d’évaluations spécifiques avant un déploiement dans un secteur sensible.

Ce qu’il faut surveiller

L’expérimentation menée autour de Super Mario Bros. témoigne d’une recherche plus large : trouver des évaluations moins figées pour des modèles devenus capables de raisonner, de produire du texte, d’analyser des images et, de plus en plus, d’agir au sein d’outils numériques. Les tests interactifs peuvent aider à détecter des défauts que des questionnaires classiques ne révèlent pas, notamment une mauvaise gestion de l’imprévu ou une tendance à persister dans une stratégie inefficace.

La valeur de ces nouvelles méthodes dépendra toutefois de leur rigueur. Il faudra surveiller la publication des règles de test, la diversité des scénarios, les mesures retenues et la possibilité pour d’autres équipes de reproduire les résultats. Il faudra aussi éviter les conclusions hâtives : être habile dans un jeu célèbre ne suffit pas à prouver qu’un modèle est fiable dans une tâche professionnelle ou autonome.

Le principal apport de ce terrain de jeu est peut-être là. En plaçant les modèles dans des situations où chaque décision a un effet visible, il rappelle qu’évaluer une IA ne consiste pas seulement à juger la qualité de ses réponses. Il s’agit aussi de comprendre comment elle se comporte lorsqu’elle doit agir, échouer et recommencer.