IA et énigmes visuelles : ce que révèlent les tests de raisonnement abstrait

Face à une grille de formes dont une case manque, le réflexe humain consiste à chercher une règle : une rotation, une alternance, une addition de symboles, un changement de position. Ce geste paraît simple, mais il mobilise l’observation, la comparaison et la capacité à formuler une hypothèse. En octobre 2024, la question est donc devenue un test révélateur pour l’intelligence artificielle : un système peut-il seulement reconnaître des motifs, ou peut-il réellement raisonner sur une règle abstraite ?

Une équipe de recherche a soumis 24 modèles de machine learning à des énigmes visuelles basées sur les matrices progressives de Raven. Le constat rapporté est nuancé. Certains systèmes se montrent efficaces pour détecter des structures répétitives ou des relations géométriques. D’autres échouent lorsque l’énigme exige de combiner plusieurs règles, d’écarter une interprétation séduisante mais fausse, ou de traiter une situation plus abstraite.

Pourquoi les énigmes visuelles sont-elles un test exigeant pour l’IA ?

Une énigme visuelle ne demande pas seulement de voir une image. Il faut d’abord repérer les éléments utiles, puis déterminer ce qui change d’une case à l’autre et enfin déduire l’élément qui devrait compléter l’ensemble. La difficulté réside dans le fait que la règle n’est généralement jamais formulée explicitement.

Cette succession d’opérations ressemble à une forme de raisonnement inductif : partir de plusieurs exemples pour inférer une règle générale. Dans une matrice, une forme peut par exemple tourner, se déplacer, disparaître, s’ajouter à une autre ou changer selon une alternance. Les cas les plus complexes combinent ces transformations. Une bonne réponse suppose alors de ne pas s’arrêter au premier motif repéré.

Pour un système d’IA, le défi comporte au moins deux dimensions distinctes :

• La perception visuelle, c’est-à-dire l’identification fiable des formes, de leur position et de leurs attributs.
• L’inférence, c’est-à-dire la recherche de la règle qui explique les transformations et permet de prévoir la case absente.

Ces deux dimensions ne vont pas automatiquement de pair. Un modèle peut décrire correctement les objets présents dans une image, tout en échouant à établir la relation logique qui les relie. À l’inverse, une erreur de perception sur un détail, une orientation ou un nombre de symboles suffit à compromettre tout le raisonnement ultérieur.

Que mesurent les matrices progressives de Raven ?

Les matrices progressives de Raven sont des exercices non verbaux largement associés à l’évaluation du raisonnement abstrait. Elles présentent une matrice de figures comportant une case manquante. La personne testée doit sélectionner, parmi plusieurs propositions, celle qui complète le mieux la logique de la grille.

Le recours à des formes plutôt qu’à des mots réduit l’importance du vocabulaire ou des connaissances scolaires. Cela ne rend pas l’exercice « culturellement neutre » dans tous les sens du terme, mais il place l’accent sur l’analyse de relations visuelles. C’est précisément ce qui intéresse les chercheurs qui évaluent les systèmes d’IA : la machine parvient-elle à découvrir une règle nouvelle à partir de quelques exemples ?

Il serait toutefois trompeur de réduire ces exercices à une mesure globale de la pensée. Les matrices évaluent une famille de problèmes bien délimitée. Elles ne disent pas tout de la créativité, de l’expérience du monde, du langage, de la compréhension sociale ou du jugement pratique. Pour l’IA comme pour l’humain, un bon score à un test ne résume donc pas l’ensemble des capacités cognitives.

Ce que montre l’évaluation de 24 modèles

L’étude évoquée dans la publication d’origine a comparé 24 modèles de machine learning sur ces puzzles visuels. Elle visait à mesurer jusqu’où des systèmes informatiques peuvent reproduire une forme de logique proche de celle mobilisée par les humains devant une matrice de Raven.

Le principal enseignement est l’existence de disparités marquées. Certaines IA excellent dans la reconnaissance de patterns, autrement dit de régularités de formes ou d’agencements. D’autres rencontrent davantage de difficultés avec les tâches qui demandent une abstraction plus poussée. Cette diversité des résultats est importante : parler de « l’IA » au singulier masque des architectures, des données d’entraînement et des méthodes de traitement très différentes.

Les résultats doivent aussi être lus à la lumière du protocole utilisé. La performance dépend notamment de la façon dont une image est fournie au système, de la clarté de la consigne et du format de réponse attendu. Si un modèle reçoit une description textuelle imparfaite d’une matrice plutôt que l’image elle-même, on ne teste pas exactement les mêmes compétences. De même, un modèle qui a rencontré des exercices très similaires dans ses données d’entraînement ne démontre pas nécessairement une capacité générale à raisonner sur des problèmes inédits.

La publication d’origine ne précise ni l’identité des 24 modèles, ni leurs scores individuels, ni la composition détaillée des énigmes. Il ne permet donc pas d’établir un classement fiable entre systèmes. Il confirme en revanche un point essentiel : les performances observées varient selon le type de problème, et les réussites sur des motifs réguliers ne se prolongent pas systématiquement vers les énigmes les plus abstraites.

Reconnaître un motif ne signifie pas comprendre

Le mot « compréhension » peut prêter à confusion lorsqu’il est appliqué à une machine. Un modèle peut aboutir à la bonne réponse après avoir repéré des corrélations efficaces entre des formes, sans disposer pour autant d’une représentation du problème comparable à celle d’un humain. Dans les tests de matrices, la frontière est particulièrement difficile à tracer : un bon résultat peut provenir d’un raisonnement robuste, d’une familiarité statistique avec des configurations semblables, ou d’une combinaison des deux.

C’est pourquoi les chercheurs s’intéressent aussi aux erreurs. Lorsqu’une règle est légèrement modifiée, un système conserve-t-il son niveau de performance ? Peut-il expliquer les étapes ayant mené à sa réponse ? Sait-il reconnaître qu’une image est ambiguë ou que plusieurs règles semblent possibles ? Ces questions importent parfois plus que le score final, car elles renseignent sur la solidité de la méthode employée.

Les limites signalées dans les essais vont dans ce sens. Les systèmes actuels peuvent être très performants sur des données structurées, mais ils manquent souvent de la souplesse nécessaire face à l’ambiguïté, au paradoxe ou à un changement de contexte. L’intuition humaine n’est pas infaillible, loin de là, mais elle s’appuie sur une expérience du monde et sur des capacités d’interprétation qui ne se résument pas à l’identification de formes.

Une IA peut-elle aussi inventer des énigmes ?

La recherche ne porte pas uniquement sur la résolution. Les progrès des IA génératives permettent également d’envisager la création de nouveaux puzzles. La publication d’origine mentionne notamment une IA conçue pour créer de manière autonome 3 énigmes dont les solutions révèlent 3 nombres, avec une somme finale précise.

Produire une énigme cohérente est un problème à part entière. Le système doit générer une structure, déterminer une règle, veiller à ce que la réponse attendue soit bien déductible et éviter qu’une autre solution soit tout aussi plausible. Une énigme peut sembler visuellement sophistiquée tout en étant mal construite : si elle autorise plusieurs réponses ou si la règle change sans justification, elle ne permet pas une évaluation sérieuse.

Cette capacité ouvre des perspectives intéressantes pour concevoir de grands volumes d’exercices. Elle n’efface pas la nécessité d’un contrôle humain. Dans un cadre éducatif, un exercice erroné ou inutilement ambigu peut décourager un élève et fausser l’évaluation de ses acquis. La génération automatique doit donc être accompagnée de mécanismes de vérification, ainsi que d’explications compréhensibles sur la logique attendue.

Quels usages envisager dans l’éducation ?

Les énigmes visuelles sont déjà utilisées pour entraîner l’observation, la logique et la résolution de problèmes. Des plateformes éducatives intègrent désormais des technologies d’IA pour concevoir ou adapter ce type d’exercice. L’intérêt potentiel est la personnalisation : un système pourrait proposer une difficulté progressive, varier les formes de questions et offrir un retour plus immédiat.

L’outil ne doit toutefois pas devenir un arbitre opaque. Pour être utile à l’apprentissage, il ne suffit pas d’indiquer qu’une réponse est correcte ou fausse. Il faut pouvoir montrer la transformation pertinente, expliquer pourquoi une option ne convient pas et ajuster l’exercice au niveau réel de l’élève. Une IA qui donne une solution sans justification risque de favoriser la réponse rapide au détriment de la démarche de raisonnement.

Dans ce contexte, les enseignants conservent un rôle central. Ils peuvent choisir les exercices adaptés, repérer les erreurs de l’outil et discuter avec les élèves des stratégies possibles. Cette médiation est d’autant plus nécessaire que certaines énigmes peuvent admettre plusieurs manières d’être abordées, même lorsqu’une seule réponse est attendue.

Les questions philosophiques derrière un puzzle

Ces tests réveillent une interrogation plus vaste : que faudrait-il exactement pour dire qu’une machine raisonne ? Trouver la bonne case dans une matrice est une compétence observable. Affirmer qu’un système comprend une relation abstraite, possède une intention ou fait preuve de créativité au sens humain relève d’un niveau d’interprétation différent.

La prudence est particulièrement importante lorsque les performances techniques progressent rapidement. Les résultats impressionnants peuvent nourrir des projections sur l’autonomie intellectuelle des machines, alors qu’ils reflètent parfois un succès très localisé. À l’inverse, les échecs actuels ne prouvent pas qu’aucun progrès n’est possible. Ils identifient des domaines où les méthodes doivent encore gagner en robustesse, en transparence et en capacité de généralisation.

L’enjeu est aussi éthique. Si des systèmes de raisonnement visuel étaient utilisés pour évaluer des personnes, orienter des apprentissages ou prendre part à des décisions importantes, leurs erreurs et leurs biais devraient être étudiés avec soin. Un score produit par une machine ne saurait remplacer une analyse humaine, surtout lorsque les conséquences concernent un parcours scolaire ou professionnel.

Ce qu’il faut surveiller

Les prochaines avancées ne se mesureront pas seulement au nombre de puzzles résolus. Il faudra observer si les modèles réussissent des énigmes réellement nouvelles, si leurs performances résistent à de petites variations de présentation et s’ils peuvent fournir une explication fidèle de leur raisonnement plutôt qu’une justification fabriquée après coup.

Il sera également utile de distinguer les progrès de la vision artificielle, de la logique symbolique et des modèles génératifs. Ces approches peuvent se compléter : l’une traite les détails de l’image, une autre impose des règles explicites, une troisième produit des hypothèses. La collaboration entre méthodes traditionnelles et techniques récentes pourrait améliorer la fiabilité des systèmes face aux problèmes abstraits.

En octobre 2024, les énigmes visuelles offrent ainsi un révélateur précieux, mais partiel. Elles montrent que l’IA peut déjà manipuler certaines régularités complexes. Elles rappellent aussi que le passage de la reconnaissance de motifs à un raisonnement flexible, explicable et applicable dans des contextes variés reste l’un des défis les plus importants de la recherche sur l’intelligence artificielle.