ARC-AGI-2 : le nouveau test qui veut mesurer le raisonnement des IA

Un modèle d’intelligence artificielle peut rédiger un texte convaincant, traduire un document ou produire du code en quelques secondes. Mais sait-il découvrir une règle nouvelle à partir de quelques exemples, puis l’appliquer à une situation qu’il n’a jamais rencontrée ? C’est cette frontière, bien plus difficile à franchir que la restitution de connaissances, que la fondation ARC Prize entend explorer avec ARC-AGI-2, dévoilé dans le cadre de son défi 2025.

Le nouveau test arrive à un moment où les grands modèles progressent très vite sur les évaluations établies. Leur succès soulève toutefois une question essentielle : un bon score traduit-il une capacité de raisonnement générale, ou la maîtrise d’exercices dont les mécanismes sont devenus familiers ? ARC-AGI-2 a été conçu pour rendre cette distinction plus visible, en confrontant les systèmes à des tâches inédites et complexes.

ARC-AGI-2, un test pour sortir des réponses prévisibles

ARC signifie Abstraction and Reasoning Corpus, que l’on peut traduire par corpus d’abstraction et de raisonnement. L’idée centrale est simple à formuler, mais délicate à mettre en œuvre pour une machine : au lieu de demander une réponse apprise dans un immense corpus de textes, le test présente quelques exemples et demande d’en inférer la règle.

Les tâches ARC s’appuient habituellement sur de petites grilles composées de cases. Une intelligence artificielle observe plusieurs paires d’exemples, avec une grille de départ et une grille transformée, puis doit produire la bonne transformation pour une nouvelle grille. La règle peut faire intervenir une forme, une position, une symétrie, un comptage ou une relation spatiale. Elle n’est pas énoncée : il faut la découvrir.

Ce format vise une propriété appelée généralisation. En langage courant, il s’agit de la capacité à transférer ce que l’on vient de comprendre à un cas nouveau. Un enfant peut, par exemple, saisir qu’un objet doit être déplacé en suivant une règle observée quelques fois. Pour une IA, cette opération réclame autre chose qu’une simple association statistique entre une consigne et une réponse probable.

ARC-AGI-2 ne cherche donc pas seulement à tester la rapidité de calcul ou l’étendue des données absorbées par un modèle. Il veut examiner sa capacité à :

• identifier les éléments vraiment utiles dans un problème ;
• formuler une hypothèse sur la règle qui relie les exemples ;
• écarter les hypothèses qui ne correspondent pas à tous les cas ;
• appliquer la règle retenue à une situation différente.

Les organisateurs présentent cette épreuve comme un défi pour les approches les plus avancées. Les systèmes développés par des entreprises telles qu’OpenAI ou Google pourraient eux aussi échouer sur certaines tâches, précisément parce que celles-ci ne peuvent pas être résolues par la seule familiarité avec des exemples déjà vus.

Pourquoi remplacer ARC-AGI-1 ?

ARC-AGI-2 s’inscrit dans la continuité d’ARC-AGI-1, la première version du défi. Cette dernière avait servi de repère pour évaluer l’abstraction et la résolution de problèmes nouveaux. Or, les progrès rapides des modèles ont modifié la situation. Le modèle o3 a notamment montré qu’un système récent pouvait venir à bout d’ARC-AGI-1 bien plus rapidement que prévu.

Ce phénomène est classique dans la recherche en IA. Un test paraît très difficile lors de sa création, puis les équipes apprennent à mieux l’aborder. Elles améliorent les modèles, augmentent la puissance de calcul, développent des stratégies spécialisées ou optimisent leurs méthodes à partir des retours de la communauté. À terme, un benchmark peut ne plus distinguer suffisamment les approches réellement nouvelles des systèmes simplement très bien adaptés à l’épreuve.

ARC-AGI-2 répond à ce risque. La fondation a revu le test pour le rendre plus exigeant, avec des défis destinés à solliciter davantage l’adaptation et le raisonnement. L’ambition n’est pas de rendre l’évaluation artificiellement impossible. Il s’agit de conserver un écart significatif entre des systèmes capables de reconnaître des motifs et ceux qui peuvent réellement recomposer une règle dans un contexte inconnu.

Ce que les deux versions cherchent à départager

Le passage d’ARC-AGI-1 à ARC-AGI-2 rappelle qu’un score élevé n’a de valeur que s’il reste difficile à obtenir par des moyens détournés. Un modèle peut être très performant sur un grand nombre de tâches tout en butant sur une situation qui exige de changer de stratégie. C’est précisément ce contraste que le nouveau test entend rendre mesurable.

La difficulté tient aussi au fait que plusieurs règles peuvent sembler plausibles à première vue. Une bonne solution doit expliquer l’ensemble des exemples fournis, et non un seul d’entre eux. Cette contrainte pousse le système à vérifier ses hypothèses. Elle s’éloigne d’une logique où la réponse la plus fréquente ou la plus vraisemblable suffit.

Pour les chercheurs, ce type d’épreuve constitue un outil de diagnostic. Un faible résultat peut signaler que le modèle manque de raisonnement symbolique, qu’il s’appuie trop fortement sur ses automatismes statistiques, qu’il peine à planifier plusieurs étapes ou qu’il ne sait pas sélectionner la bonne représentation d’un problème. À l’inverse, une progression peut aiguiller les travaux vers des méthodes plus robustes.

Il faut toutefois rester prudent dans l’interprétation. Les capacités dites de raisonnement ne forment pas un bloc unique. Résoudre des transformations sur une grille ne permet pas, à lui seul, d’évaluer le bon sens, la compréhension du monde physique, le langage, la mémoire à long terme, l’autonomie ou la fiabilité d’une IA dans des situations réelles. ARC-AGI-2 se veut un indicateur exigeant, non un verdict total sur l’intelligence d’un système.

ARC Prize 2025 : plus d’un million de dollars annoncés

Pour accélérer la recherche, la fondation ARC Prize organise une compétition mondiale, ARC Prize 2025. Elle s’adresse aux chercheurs et aux laboratoires spécialisés dans l’intelligence artificielle. L’enjeu financier est important : l’enveloppe annoncée dépasse un million de dollars.

Le mécanisme d’un prix est direct : donner aux équipes une cible commune, rendre les résultats comparables et attirer des profils variés sur une question qui pourrait autrement rester confinée à quelques laboratoires. Les concours peuvent faire émerger des idées inattendues, notamment lorsque les règles d’évaluation et les résultats sont partagés avec la communauté.

Les montants mis en avant pour la compétition sont les suivants :

Au-delà de la récompense principale, les prix destinés aux publications soulignent un point important : dans la recherche, il ne suffit pas d’afficher une performance. Une méthode gagne en intérêt lorsqu’elle peut être expliquée, discutée, testée et, idéalement, reproduite par d’autres équipes. La fondation espère aussi faire émerger des solutions open source, susceptibles de nourrir des recherches ultérieures.

L’AGI, un objectif encore difficile à définir

L’acronyme AGI, pour artificial general intelligence, désigne l’idée d’une intelligence artificielle générale. Cette expression renvoie à un système qui pourrait s’adapter à un vaste éventail de problèmes intellectuels sans devoir être réentraîné ou spécifiquement programmé pour chaque nouvelle tâche.

Dans le débat public, l’AGI est souvent présentée comme une étape nette, que l’on franchirait à une date donnée. Dans la pratique, il n’existe pas de définition universellement acceptée ni de test unique permettant de certifier qu’elle a été atteinte. Les chercheurs ne s’accordent pas tous sur les capacités requises, ni sur la manière de les mesurer.

C’est dans ce contexte que s’inscrit l’initiative portée notamment par François Chollet, cofondateur de la fondation ARC Prize. Son approche met l’accent sur l’efficacité à apprendre une règle nouvelle à partir de peu d’exemples, plutôt que sur la seule accumulation de données et de puissance informatique. Cette vision ne résume pas à elle seule l’ensemble de la recherche sur l’AGI, mais elle cible une faiblesse fréquemment attribuée aux modèles actuels : leur difficulté à faire face de façon fiable à l’inédit.

Les grands modèles de langage donnent parfois l’impression de raisonner parce qu’ils savent expliquer une démarche, générer du code ou résoudre de nombreux problèmes scolaires. Ces réussites sont réelles. Mais une réponse convaincante ne garantit pas que le processus sous-jacent soit stable. Dès que les indices changent, qu’un problème sort des conventions attendues ou que plusieurs étapes doivent être coordonnées, les erreurs peuvent réapparaître.

ARC-AGI-2 place donc le débat sur un terrain plus précis. La question n’est pas seulement : « Une IA peut-elle donner la bonne réponse ? » Elle devient : « Peut-elle identifier, avec peu d’indices, pourquoi cette réponse est la bonne dans un cas jamais rencontré ? »

Les limites d’un benchmark, même ambitieux

Le lancement d’un test plus difficile ne met pas fin aux controverses sur la manière d’évaluer l’IA. Tout benchmark crée inévitablement un objectif à optimiser. Si les tâches, les règles ou les exemples deviennent trop connus, des équipes peuvent concevoir des solutions particulièrement adaptées à cette épreuve. Cela ne signifie pas nécessairement qu’elles ont construit une intelligence polyvalente.

La meilleure protection reste le renouvellement des tâches, la séparation rigoureuse entre les données d’entraînement et les cas évalués, ainsi que l’examen des méthodes utilisées. Les résultats doivent également être lus avec attention : le coût en calcul, le nombre de tentatives et le degré d’intervention humaine peuvent changer radicalement la signification d’un score.

L’enjeu ne se limite pas à la performance technique. Des systèmes plus capables de s’adapter pourraient trouver des applications dans la recherche, l’éducation, l’industrie ou l’aide à la décision. Mais ils poseraient aussi des questions de contrôle, de responsabilité et d’accès équitable aux ressources informatiques. Une avancée sur un benchmark ne préjuge pas des conséquences sociales de son déploiement.

Les inquiétudes liées aux inégalités sont particulièrement importantes. Les modèles les plus coûteux à entraîner et à exécuter restent souvent entre les mains de quelques grandes organisations. Si la recherche sur le raisonnement dépend avant tout de budgets massifs, l’écart pourrait se creuser entre les entreprises disposant d’infrastructures considérables et les laboratoires plus modestes. La place accordée à des travaux ouverts et reproductibles constitue, de ce point de vue, un élément à suivre.

Ce qu’il faut surveiller après le lancement d’ARC-AGI-2

Au 26 mars 2025, ARC-AGI-2 ouvre une nouvelle étape dans la compétition pour des systèmes d’IA plus adaptables. Plusieurs éléments permettront d’en évaluer la portée réelle dans les mois à venir.

D’abord, les résultats : il faudra regarder non seulement qui obtient les meilleurs scores, mais aussi l’ampleur des progrès et leur régularité selon les tâches. Ensuite, les méthodes : une solution qui explique clairement comment elle généralise apportera davantage à la recherche qu’un score isolé et difficile à reproduire.

Il faudra également observer le rapport entre performance et ressources mobilisées. Une IA qui résout une tâche au prix d’un volume massif de calcul ne démontre pas la même forme d’efficacité qu’un système capable d’apprendre rapidement avec peu d’exemples. Enfin, la communauté devra déterminer si les idées développées pour ARC-AGI-2 se transfèrent à d’autres problèmes concrets.

Le défi ne décidera pas à lui seul de l’arrivée de l’intelligence artificielle générale. Il fournit toutefois un rappel utile : les capacités spectaculaires des IA génératives ne rendent pas obsolète la question fondamentale du raisonnement. À mesure que les anciens tests deviennent plus accessibles, inventer de meilleures façons de mesurer ce que les machines comprennent réellement devient un enjeu central de la recherche.