OpenAI o3 dépasse la référence humaine sur ARC-AGI, mais ce que cela signifie

Un système d’IA peut-il vraiment être qualifié d’« humain » parce qu’il réussit un test ? La question se pose avec une acuité particulière depuis l’annonce, en décembre 2024, des résultats du modèle o3 d’OpenAI au benchmark ARC-AGI. Sur une configuration utilisant beaucoup de calcul, le modèle a dépassé le repère de performance humaine établi pour cette évaluation. C’est une avancée notable dans un domaine où les IA avaient jusqu’ici beaucoup de mal : résoudre des problèmes inédits à partir de très peu d’exemples.

Il faut toutefois éviter le raccourci. ARC-AGI n’est ni un test de culture générale, ni un examen professionnel, ni une mesure complète de l’intelligence humaine. Il cherche à isoler une aptitude très précise, la capacité de généralisation face à une règle que le système n’a pas rencontrée auparavant. La performance d’o3 est donc importante, mais elle appelle autant d’explications que de conclusions.

Un résultat record, au-dessus du repère humain

L’annonce d’OpenAI marque une forte progression par rapport aux résultats précédemment observés sur ARC-AGI. Le chiffre de 85 % souvent associé à cette annonce correspond à la référence de performance humaine moyenne utilisée par l’évaluation. Selon les paramètres de calcul employés, o3 a obtenu des résultats distincts : 75,7 % dans une configuration dite de faible calcul et 87,5 % dans une configuration utilisant davantage de ressources pour résoudre chaque problème.

Le score élevé dépasse donc le repère humain moyen de ce test. Il contraste surtout avec le meilleur résultat précédemment cité pour les systèmes d’IA, de l’ordre de 55 %. Cette comparaison donne la mesure du saut accompli, sans pour autant permettre de réduire l’intelligence à une seule note.

La nuance sur le calcul est fondamentale. Dans ce type d’expérience, il ne s’agit pas seulement de ce que le modèle a appris durant son entraînement. Il s’agit aussi du temps et des ressources qu’il peut consacrer à un problème précis avant de fournir une réponse. Un meilleur résultat peut refléter une meilleure stratégie de raisonnement, mais aussi une recherche plus intensive parmi plusieurs pistes possibles.

Comment fonctionne le test ARC-AGI ?

ARC-AGI signifie « Abstraction and Reasoning Corpus for Artificial General Intelligence ». Son principe est volontairement dépouillé. Chaque exercice présente des grilles composées de cases, avec différentes formes et couleurs. Le candidat observe plusieurs paires d’exemples : une grille de départ, puis la grille transformée attendue. Il doit ensuite appliquer la règle qu’il a déduite à une nouvelle grille.

L’apparente simplicité visuelle est trompeuse. Pour résoudre une tâche, il peut par exemple falloir repérer un objet, compter ses éléments, détecter une symétrie, déplacer une forme, remplir une zone ou comprendre quelle partie d’une grille constitue le signal pertinent. La bonne réponse ne découle pas d’une consigne rédigée en langage naturel. La règle doit être inférée à partir des transformations montrées.

Chaque problème fournit trois exemples servant d’indices. À l’IA, ou à la personne évaluée, de déterminer ce qu’ils ont en commun sans se laisser piéger par des ressemblances accidentelles. Une règle trop étroite peut expliquer un premier exemple mais échouer sur le suivant. Une règle trop vague, elle, ne permet pas de produire la bonne transformation.

Cette exigence rapproche ARC-AGI de certaines épreuves de raisonnement abstrait présentes dans les tests de QI. Mais le benchmark ne prétend pas mesurer un quotient intellectuel. Il s’intéresse avant tout à une question centrale de la recherche : un système sait-il apprendre rapidement une nouvelle règle lorsqu’on ne lui donne que quelques cas ?

Pourquoi la généralisation à partir de peu d’exemples compte tant

Les grands modèles d’IA modernes doivent une grande part de leurs capacités à l’analyse de quantités considérables de textes, d’images, de code ou d’autres données. Cette méthode leur permet de produire des réponses convaincantes dans de nombreux domaines. Elle a aussi une limite : une IA peut exceller lorsqu’une situation ressemble à de très nombreux exemples déjà absorbés, puis devenir moins fiable face à une tâche rare ou radicalement nouvelle.

ARC-AGI cherche précisément à limiter cet avantage. Les tâches sont conçues pour exiger une adaptation rapide, non la restitution d’un exercice déjà vu. La notion importante est celle d’efficacité d’échantillonnage : combien d’exemples sont nécessaires à un système pour comprendre une nouvelle règle ?

Chez l’humain, quelques démonstrations suffisent souvent. Un enfant peut saisir un jeu de classement après deux ou trois exemples, puis appliquer son principe à des objets différents. Cette faculté ne repose pas uniquement sur la mémorisation. Elle mobilise l’abstraction, l’attention aux détails pertinents et l’élimination d’hypothèses qui ne tiennent pas.

Les modèles de langage comme ChatGPT peuvent aussi généraliser dans certaines circonstances. Mais ils sont habituellement entraînés sur des millions, voire davantage, d’exemples. Leur performance ne prouve pas automatiquement qu’ils apprennent une règle comme le ferait une personne. Le défi d’ARC-AGI est de vérifier si le système peut se comporter de façon utile lorsque les exemples disponibles sont très limités.

Ce que le résultat d’o3 laisse entrevoir sur son raisonnement

OpenAI n’a pas détaillé l’ensemble des méthodes techniques permettant à o3 d’atteindre ce niveau. Il serait donc prématuré d’affirmer que le modèle fonctionne de la même manière qu’un humain ou qu’il a découvert une méthode universelle de raisonnement. Les résultats suggèrent néanmoins une aptitude renforcée à explorer et sélectionner des règles susceptibles de s’appliquer à un problème nouveau.

Le concepteur d’ARC-AGI, François Chollet, a évoqué une approche qui rappelle certains principes employés par AlphaGo. L’idée est de ne pas s’arrêter immédiatement à la première réponse plausible. Le système peut explorer différentes séquences d’actions ou d’hypothèses, puis retenir les pistes jugées les plus prometteuses grâce à des heuristiques, c’est-à-dire des règles pratiques d’orientation de la recherche.

On parle souvent, dans ce contexte, de « chaînes de pensée ». Pour un problème de grille, le modèle pourrait envisager plusieurs explications : « la forme doit-elle être déplacée ? », « faut-il recopier son motif ? », « une couleur indique-t-elle une exception ? ». L’enjeu consiste ensuite à tester ces hypothèses contre les exemples et à choisir celle qui explique le mieux l’ensemble de la tâche.

La notion de « règles faibles » va dans le même sens. Au lieu de s’enfermer dans une interprétation très spécifique, le système cherche une règle suffisamment générale pour couvrir plusieurs observations. Cette souplesse peut améliorer l’adaptation. Elle comporte aussi un risque : si le modèle retient une mauvaise règle, une réponse apparemment cohérente peut rester fausse.

Un score ARC-AGI prouve-t-il l’arrivée d’une intelligence générale ?

Non. L’intelligence artificielle générale, souvent désignée par le sigle anglais AGI, désigne généralement un système capable d’apprendre, comprendre et accomplir une grande diversité de tâches intellectuelles avec une polyvalence comparable à celle d’un humain. Une telle définition couvre le raisonnement, mais aussi la communication, l’acquisition de connaissances, l’adaptation à des contextes variés, la planification et la fiabilité dans la durée.

ARC-AGI examine une composante essentielle de cette ambition, la généralisation à partir de peu d’exemples. Mais aucune évaluation isolée ne peut vérifier toutes les dimensions de l’intelligence. Un modèle peut être remarquable dans la résolution de grilles abstraites, tout en échouant dans d’autres situations : instructions ambiguës, informations incomplètes, connaissances pratiques, interactions sociales ou décisions qui exigent une compréhension fine des conséquences.

Il faut également tenir compte de la différence entre une démonstration de benchmark et un usage courant. Les exercices ARC-AGI sont précisément définis, la réponse attendue est vérifiable et le système peut consacrer une grande quantité de calcul à chaque tâche. Dans une application réelle, il faut aussi être rapide, maîtriser les coûts, expliquer ses limites, gérer les erreurs et résister aux données trompeuses.

Pourquoi cette avancée intéresse déjà l’économie et la société

Si les IA devenaient réellement plus efficaces pour comprendre des situations nouvelles avec peu d’exemples, leur intérêt dépasserait largement les jeux de grilles. Dans le monde du travail, elles pourraient être plus utiles pour assister à des tâches qui changent fréquemment, analyser des procédures inhabituelles, adapter un outil à un nouveau métier ou aider à explorer des problèmes pour lesquels les données historiques sont rares.

Mais une telle perspective ne se traduit pas mécaniquement par une automatisation complète. Les outils d’IA sont déployés dans des organisations soumises à des contraintes concrètes : confidentialité, responsabilité juridique, contrôle humain, qualité des données et coûts informatiques. Une IA capable de proposer une règle plausible doit encore démontrer qu’elle sait signaler ses incertitudes et qu’elle ne prend pas une mauvaise hypothèse pour une certitude.

Les enjeux de sécurité et de régulation prennent aussi de l’importance à mesure que les modèles deviennent plus capables. Comprendre leurs comportements, documenter leurs échecs et mettre en place des évaluations indépendantes sont des conditions importantes avant une diffusion plus large. La performance technique ne dispense pas les entreprises et les institutions de vérifier les conséquences sociales de ces systèmes.

Ce qu’il faut surveiller après l’annonce d’o3

Le premier point à suivre est la reproductibilité. Des évaluations par des équipes indépendantes, sur les tâches réservées du benchmark et sur d’autres protocoles, permettront de mieux situer o3. Un bon modèle doit conserver ses performances au-delà d’un ensemble d’exercices précis.

Le deuxième enjeu concerne la transparence. Sans connaître tous les mécanismes utilisés, il est difficile de distinguer ce qui relève d’une amélioration fondamentale du raisonnement, de l’augmentation des ressources de calcul ou d’une combinaison des deux. Cette distinction compte pour estimer le coût, la vitesse et la portée réelle des progrès.

Enfin, la question la plus utile n’est pas seulement de savoir si une IA a franchi un seuil symbolique. Elle est de déterminer dans quelles tâches elle se montre fiable, où elle échoue, combien de supervision elle exige et à quelles conditions elle peut rendre un service concret. ARC-AGI apporte un signal fort sur une aptitude longtemps considérée comme difficile pour les machines. La route vers une IA véritablement générale reste, elle, à démontrer domaine par domaine.