Les tests psychologiques révèlent les limites visuelles des LLM multimodaux

Voir un empilement de blocs, anticiper qu’il va tomber, comprendre pourquoi un personnage agit d’une certaine façon ou deviner ce qu’il préfère : ces opérations semblent immédiates pour la plupart des humains. Elles mobilisent pourtant un ensemble dense d’intuitions sur les objets, les causes et les autres individus. Les grands modèles de langage multimodaux, capables de traiter à la fois du texte et des images, peuvent-ils accomplir ces raisonnements de la même manière ?

C’est la question examinée par des chercheurs du Max Planck Institute for Biological Cybernetics, de l’Institute for Human-Centered AI à Helmholtz Munich et de l’Université de Tübingen. Leurs travaux, publiés dans Nature Machine Intelligence et présentés en février 2025, ne cherchent pas simplement à savoir si un modèle donne souvent la bonne réponse. Ils utilisent des tâches empruntées à la psychologie cognitive pour observer où les réponses des machines convergent avec celles d’humains, et où elles s’en écartent.

L’enjeu est important. Les systèmes multimodaux donnent aujourd’hui l’impression de « comprendre » les images lorsqu’ils les décrivent ou répondent à des questions à leur sujet. Mais une réponse correcte peut résulter de régularités apprises dans d’immenses ensembles de données, sans reposer sur une représentation stable des lois physiques ou des intentions d’autrui. Les expériences psychologiques permettent précisément de distinguer ces deux possibilités.

Pourquoi évaluer des modèles avec des tâches de psychologie ?

Un benchmark classique mesure souvent l’exactitude d’un modèle sur une liste de questions ou d’images. Cette approche est utile, mais elle a une limite : elle indique un score, pas nécessairement le type de raisonnement qui a conduit à ce score. Un système peut reconnaître des motifs familiers dans ses données d’entraînement sans posséder une capacité générale à raisonner sur une situation nouvelle.

Les tâches de psychologie cognitive sont conçues à partir d’observations sur la manière dont les humains perçoivent, apprennent et prennent des décisions. Elles offrent donc un autre angle d’évaluation. Plutôt que de demander uniquement « quelle réponse est correcte ? », elles permettent de demander : « le modèle se trompe-t-il comme un humain ? », « est-il sensible aux mêmes informations visuelles ? » ou « généralise-t-il quand les éléments superficiels d’une scène changent ? ».

L’équipe s’inspire notamment des travaux de Brenden M. Lake et de ses collaborateurs sur les ingrédients cognitifs qui permettraient de rapprocher une machine de certaines formes d’intelligence humaine. Cette filiation est essentielle : l’objectif n’est pas d’attribuer une pensée humaine à un logiciel, mais de mettre à l’épreuve, dans un protocole contrôlé, ses capacités de perception et d’inférence.

Quelles capacités visuelles les chercheurs ont-ils testées ?

Les scientifiques ont adapté une série d’expériences déjà utilisées en psychologie. Les modèles reçoivent des stimuli visuels, puis doivent répondre à des questions qui demandent davantage qu’une simple identification d’objets. Leurs résultats sont comparés à ceux d’un groupe de participants humains, ce qui rend possible une analyse des ressemblances et des différences de comportement.

Les expériences couvrent notamment trois familles de capacités.

Le cas des tours de blocs est particulièrement parlant. Une image fixe ne contient pas explicitement le mot « chute ». Pour répondre correctement, il faut tenir compte de la disposition, de l’équilibre et des appuis entre les objets. Les jeunes enfants développent très tôt de telles intuitions sur le monde matériel. Les chercheurs cherchent donc à déterminer si les performances d’un modèle reflètent une compréhension comparable ou seulement l’association de configurations visuelles à des formulations fréquemment rencontrées.

Les tâches causales et sociales soulèvent une difficulté supplémentaire. Dans une scène, plusieurs éléments peuvent coexister sans entretenir de relation de cause à effet. De même, connaître les objets présents ne suffit pas toujours à prévoir la préférence d’un agent. Il faut relier les informations, envisager un contexte et sélectionner ce qui est pertinent pour répondre.

De bonnes réponses simples, mais des fragilités face aux subtilités

Les résultats rapportés par l’équipe montrent une image contrastée. Certains LLM multimodaux se révèlent performants pour traiter des données visuelles simples. Cette faculté est cohérente avec les progrès rapides accomplis par ces systèmes en reconnaissance et en description d’images.

Mais les écarts apparaissent lorsque les tâches font intervenir des dimensions plus fines de la cognition visuelle. Les modèles ont souvent du mal avec des subtilités que les participants humains comprennent aisément. En d’autres termes, une réussite sur certains exemples ne suffit pas à établir une compréhension générale, fiable et proche de l’intuition humaine.

Cette nuance compte particulièrement dans l’interprétation des démonstrations spectaculaires d’IA. Une conversation fluide à propos d’une image, ou une analyse correcte d’une scène bien connue, ne prouve pas à elle seule que le modèle possède un raisonnement causal robuste. Pour l’établir, il faut vérifier la stabilité de ses réponses sur des variations contrôlées des situations et les confronter à des comportements humains.

Une comparaison utile, mais qui ne mesure pas une conscience

Comparer des réponses humaines et artificielles ne revient pas à déclarer qu’un modèle pense, ressent ou est conscient. Les mécanismes sont profondément différents. Les humains disposent d’un corps, d’une perception continue du monde, d’une expérience vécue et d’interactions sociales qui structurent leur apprentissage dès l’enfance. Les LLM pré-entraînés étudiés ici apprennent, eux, à partir de vastes corpus de données.

La comparaison a une autre valeur : elle permet de repérer les propriétés qui manquent à un système pour se comporter de façon plus robuste dans un ensemble de tâches. Si un modèle échoue de manière répétée dans des cas que les humains résolvent facilement, les chercheurs peuvent isoler le type de raisonnement ou de représentation qu’il semble ne pas posséder.

Cela évite également deux écueils. Le premier serait de minimiser les compétences des modèles sous prétexte qu’ils ne fonctionnent pas comme le cerveau humain. Le second serait d’assimiler trop vite des performances impressionnantes à une compréhension du monde. Les expériences décrites par l’équipe offrent un terrain intermédiaire : elles mesurent des comportements observables, sans transformer des métaphores comme « voir » ou « comprendre » en certitudes scientifiques.

Plus de données suffiraient-elles à combler l’écart ?

Les limites observées alimentent un débat central dans la recherche sur l’IA. Peut-on obtenir une cognition visuelle plus robuste en augmentant simplement la quantité et la diversité des données d’entraînement, ou faut-il modifier plus profondément l’architecture et les méthodes d’apprentissage des modèles ?

Des données variées peuvent améliorer la couverture de situations rencontrées pendant l’entraînement. Elles peuvent donc aider un système à mieux reconnaître des configurations, des objets ou des relations déjà présents dans ses exemples. Toutefois, l’étude pose la question des biais inductifs nécessaires à des capacités plus générales.

En apprentissage automatique, un biais inductif est une contrainte ou une orientation qui guide le système vers certaines régularités. Il ne s’agit pas nécessairement d’un défaut : sans hypothèses ou structures préalables, apprendre efficacement à partir de données finies est difficile. Dans le cas de la cognition visuelle, une architecture ou un module explicitement sensible aux relations spatiales, aux objets persistants ou aux règles physiques pourrait aider un modèle à traiter les scènes autrement qu’en s’appuyant seulement sur des corrélations statistiques.

L’hypothèse évoquée par les chercheurs est celle de l’intégration de modules de traitement spécialisés, par exemple un moteur physique. Un tel composant viserait à modéliser les interactions entre objets, comme l’équilibre, le mouvement ou les collisions. L’idée ne consiste pas à reproduire entièrement le cerveau humain, mais à doter l’IA de mécanismes mieux adaptés à certains aspects du monde matériel.

L’affinage améliore les résultats, sans résoudre la généralisation

Les modèles considérés dans l’étude sont pré-entraînés sur de vastes ensembles de données. Les chercheurs envisagent aussi d’évaluer des modèles affinés sur les tâches spécifiques mobilisées dans les expériences. L’affinage, souvent désigné par le terme anglais fine-tuning, consiste à poursuivre l’apprentissage d’un modèle sur un jeu d’exemples plus ciblé afin d’améliorer son comportement dans un domaine précis.

Les premières observations indiquent que cette étape peut améliorer significativement les performances sur certaines tâches. Ce résultat est important : les modèles ne sont pas figés et peuvent apprendre à mieux répondre à un protocole donné.

Il ne faut cependant pas confondre spécialisation et généralisation. Un modèle peut devenir très compétent sur une famille d’exercices proche de celles vues lors de son affinage, tout en restant fragile dès qu’une nouvelle situation exige le même principe sous une forme différente. Or cette capacité à transférer souplement une connaissance vers des contextes variés est une caractéristique essentielle de la cognition humaine.

La question pratique est donc la suivante : après un entraînement ciblé sur l’équilibre de tours de blocs, le modèle comprend-il mieux la stabilité dans des scènes inédites et différemment représentées ? Ou apprend-il surtout les réponses attendues par ce test ? Les futurs travaux devront distinguer ces deux cas.

Ce qu’il faut surveiller dans la recherche sur les LLM visuels

Cette étude contribue à déplacer l’évaluation des LLM multimodaux d’une logique de performance brute vers une analyse plus fine de leurs capacités. À mesure que ces systèmes sont intégrés à des outils d’assistance, à l’éducation, à la création ou à l’analyse de documents visuels, leur fiabilité face à des images ambiguës et à des situations inédites devient un enjeu concret.

Plusieurs pistes mériteront une attention particulière : la reproduction des résultats sur davantage de modèles, l’élargissement des tâches psychologiques, la résistance des performances à des scènes nouvelles et l’effet réel des modules spécialisés. Il sera également décisif de mesurer si les gains obtenus par affinage se maintiennent en dehors de l’exercice utilisé pour entraîner le modèle.

Les résultats ne tracent pas une frontière immuable entre l’humain et la machine. Ils rappellent plutôt une exigence méthodologique : avant de conclure qu’une IA comprend une image comme nous, il faut tester ce qu’elle infère réellement de cette image, ce qu’elle généralise et ce qui lui échappe encore. C’est à cette condition que les promesses des modèles multimodaux pourront être évaluées avec précision, au-delà de l’effet parfois trompeur d’une réponse bien formulée.