Des IA multimodales organisent les objets d’une façon proche du cerveau humain

Lorsqu’une personne voit une pomme, un chien ou une chaise, son cerveau ne se contente pas d’enregistrer une forme et une couleur. Il situe spontanément cet objet parmi d’autres, selon sa catégorie, son usage, ses propriétés ou son lien avec le vivant. Une équipe de l’Académie chinoise des sciences avance que des modèles de langage multimodaux parviennent, eux aussi, à organiser des objets naturels suivant une structure étonnamment proche de celle observée chez l’être humain.

Publiée dans Nature Machine Intelligence, l’étude ne prétend pas que les systèmes d’IA possèdent une conscience, une expérience visuelle ou une compréhension humaine du monde. Elle établit un résultat plus précis, mais important : lorsqu’on examine mathématiquement les relations de similarité entre de nombreux objets, les représentations construites par certains modèles présentent des régularités qui rappellent les connaissances conceptuelles humaines et qui correspondent en partie à l’activité de zones cérébrales dédiées au traitement visuel.

Ce rapprochement intéresse à la fois l’intelligence artificielle, la psychologie cognitive et les neurosciences. Il offre une méthode pour examiner ce que les modèles apprennent réellement à partir de données textuelles et visuelles, tout en apportant un nouveau point de comparaison pour étudier la manière dont le cerveau organise ses connaissances sur le monde.

Ce que les chercheurs ont voulu mesurer

L’objet de l’étude est la représentation des objets naturels. En sciences cognitives, cette expression désigne la façon dont un système, humain ou artificiel, encode les ressemblances et les différences entre les choses. Une rose est davantage associée à une tulipe qu’à un marteau. Un chien est plus proche d’un chat que d’une voiture. Mais les raisons de ces rapprochements peuvent être multiples : apparence, fonction, milieu de vie, matière, comportement ou catégorie générale.

Les chercheurs ont voulu savoir si des grands modèles de langage capables de traiter plusieurs modalités, notamment du texte et de l’image, construisaient une carte de ces relations comparable à celle des humains. Ils ont analysé deux systèmes cités dans leurs travaux : ChatGPT-3.5 d’OpenAI et GeminiPro Vision 1.0 de Google DeepMind.

Un modèle multimodal est conçu pour traiter plusieurs types d’informations. Là où un modèle de langage classique travaille principalement à partir de texte, un modèle multimodal peut faire le lien entre une description écrite, une image et, selon les systèmes, d’autres formes de données. Cette capacité est centrale pour représenter des objets concrets : une banane n’est pas seulement un mot, elle renvoie aussi à une forme, à des usages, à un goût ou à une catégorie d’aliment.

Comment comparer une IA et des représentations humaines ?

Pour mettre les modèles à l’épreuve, l’équipe a employé des tâches dites de jugement de triplet. Le principe est simple : face à trois objets, le système doit sélectionner les deux qui se ressemblent le plus. À partir d’un très grand nombre de ces choix, il devient possible de reconstituer une sorte de géographie mentale des objets.

Les chercheurs ont réuni 4,7 millions de jugements portant sur 1 854 objets naturels. Ce volume permet d’aller bien au-delà de quelques exemples intuitifs. Il ne s’agit pas seulement de vérifier qu’un modèle rapproche correctement un chat et un chien, mais de relever un ensemble massif de préférences relatives entre des objets très variés.

Les réponses ont ensuite servi à calculer des embeddings, c’est-à-dire des représentations numériques. Dans ce type d’espace mathématique, chaque objet est placé à une position déterminée. Deux objets considérés comme proches sont voisins, tandis que des objets jugés dissemblables sont éloignés. L’intérêt de la méthode est qu’elle permet d’étudier une organisation globale plutôt qu’une réponse isolée.

Des cartes de similarité en 66 dimensions

L’analyse a fait émerger 66 dimensions, décrites par les auteurs comme stables et prédictives. Le mot « dimension » ne doit pas être compris comme une propriété unique et directement visible, telle que la taille ou la couleur. Il s’agit plutôt d’un axe abstrait qui contribue à expliquer pourquoi certains objets sont regroupés et d’autres séparés dans les réponses du modèle.

Ces dimensions ont produit des regroupements sémantiques cohérents. Autrement dit, les objets ne sont pas répartis au hasard : des catégories qui ont du sens pour les humains apparaissent dans la structure obtenue. Les animaux, les plantes ou d’autres ensembles d’objets significatifs tendent ainsi à se retrouver selon des relations interprétables.

Cette stabilité est un élément important. Si les résultats n’étaient qu’un effet de formulations particulières ou de réponses imprévisibles, ils ne fourniraient qu’une image fragile du modèle. Le fait que les dimensions soient à la fois stables et capables de prédire des jugements suggère que les systèmes ont acquis une organisation interne relativement structurée des objets naturels.

Il faut néanmoins être précis sur le sens de cette conclusion. Les modèles ne fabriquent pas nécessairement leur représentation à partir des mêmes informations qu’un humain. Un être humain acquiert ses connaissances par la perception, le mouvement, l’interaction avec des objets, le langage et la vie sociale. Les modèles sont entraînés sur de grandes quantités de données linguistiques et multimodales. Ils peuvent donc converger vers des structures comparables par des voies très différentes.

Pourquoi l’activité cérébrale entre-t-elle dans la comparaison ?

L’étude ne s’arrête pas aux comportements de classement. Les auteurs ont également recherché des correspondances entre les embeddings issus des modèles et l’activité cérébrale humaine. Ils rapportent des alignements dans des régions spécifiques, dont la zone extra-striatique et le cortex fusiforme.

Ces régions sont connues pour leur implication dans le traitement visuel et la reconnaissance d’objets. Le cortex fusiforme se situe notamment dans une zone du cerveau qui participe à l’analyse de catégories visuelles complexes. La zone extra-striatique regroupe pour sa part des aires visuelles intervenant dans le traitement de l’information au-delà des premières étapes de la vision.

L’alignement observé signifie que les variations dans la structure de représentation des modèles correspondent, dans une certaine mesure, aux variations mesurées dans l’activité cérébrale liée aux objets. C’est un résultat de corrélation : il indique une similitude dans l’organisation des données, pas une preuve que le modèle reproduit les circuits neuronaux humains.

Cette nuance est fondamentale. Un réseau de neurones artificiels porte ce nom par analogie historique, mais ses unités de calcul, son entraînement et ses objectifs diffèrent profondément de ceux du cerveau. Les neurones biologiques sont insérés dans un organisme, reçoivent des signaux sensoriels continus et sont façonnés par le développement, l’attention, la mémoire et les interactions sociales. Les modèles de langage produisent, eux, des calculs statistiques sur des représentations numériques.

Que révèle cette proximité entre IA et cognition humaine ?

Le premier apport est méthodologique. Les modèles multimodaux peuvent devenir des objets d’étude pour les chercheurs qui s’intéressent à la cognition. Si leurs représentations peuvent être mesurées, comparées à des jugements humains et mises en relation avec des données cérébrales, ils offrent un terrain expérimental complémentaire pour formuler ou tester des hypothèses sur l’organisation conceptuelle.

Le second apport concerne l’IA elle-même. Les grands modèles sont souvent perçus comme des systèmes qui manipulent du texte sans véritable ancrage dans le monde réel. Cette recherche suggère qu’en combinant des données linguistiques et multimodales, ils peuvent faire émerger des structures abstraites suffisamment riches pour organiser de nombreux objets de façon cohérente. Cela ne démontre pas une compréhension au sens humain, mais cela aide à expliquer certaines de leurs performances dans les tâches de description, de comparaison ou de raisonnement sur des éléments du quotidien.

Enfin, ces résultats nourrissent les travaux d’IA inspirée du cerveau. L’objectif n’est pas forcément de copier le cerveau cellule par cellule. Il peut aussi s’agir de tirer parti des connaissances sur la perception et les représentations conceptuelles pour concevoir des systèmes plus robustes, plus interprétables ou plus efficaces dans leur interaction avec le monde physique.

Pour autant, une bonne capacité de classement d’objets ne garantit pas toutes les formes de fiabilité. Un système peut reconnaître des régularités sémantiques et produire malgré tout une réponse erronée, manquer de contexte ou échouer face à une situation inhabituelle. Les représentations internes ne constituent donc qu’une partie de l’évaluation d’un modèle, aux côtés de la précision factuelle, de la sécurité, de la robustesse et de la capacité à signaler ses incertitudes.

Les limites à garder en tête

Comme toute étude de comparaison, celle-ci dépend des objets choisis, de la formulation des tâches et des modèles évalués. Les résultats concernent ChatGPT-3.5 et GeminiPro Vision 1.0 dans le cadre expérimental retenu. Ils ne permettent pas d’affirmer que tous les modèles multimodaux actuels, ni tous leurs usages, partagent exactement la même structure de représentation.

Les jugements de triplet constituent par ailleurs une simplification nécessaire. Dans la vie courante, reconnaître un objet implique souvent le contexte, les objectifs de la personne et l’action possible. Une tasse peut être vue comme un récipient, un objet de cuisine, un cadeau ou un élément à saisir avec précaution si elle est chaude. Une tâche qui demande seulement quels objets se ressemblent le plus capture une part utile de la cognition, sans l’épuiser.

Il faut également résister à une interprétation anthropomorphique. Lorsqu’un modèle rapproche deux objets d’une manière semblable à un humain, cela ne permet pas de déduire qu’il les « voit » ou qu’il leur attribue une signification vécue. Les termes tels que « représentation », « connaissance » ou « compréhension » doivent ici être lus dans leur sens scientifique et opérationnel : ils décrivent des structures de données et des performances observables.

Ce qu’il faut surveiller

La suite de ces travaux dépendra notamment de la réplication des résultats sur davantage de modèles, de catégories d’objets et de tâches. Il sera utile de déterminer si les correspondances avec le cerveau se renforcent avec des modèles plus récents ou plus multimodaux, et si elles se retrouvent pour des scènes complexes, des actions, des relations spatiales ou des concepts moins concrets.

Les chercheurs pourront aussi chercher à distinguer ce qui vient du langage et ce qui provient des données visuelles. Le langage humain contient déjà une immense quantité de connaissances sur les objets et leurs relations. Une question clé sera donc de savoir dans quelle mesure l’apport de l’image modifie ou enrichit l’organisation conceptuelle apprise par les modèles.

À plus long terme, la valeur de ce type d’étude résidera moins dans l’idée séduisante d’une IA qui « pense comme nous » que dans la qualité des outils de comparaison qu’elle fait émerger. Comprendre précisément où les cartes conceptuelles de l’IA rejoignent celles des humains, et où elles s’en écartent, peut aider à mieux évaluer ces systèmes, à améliorer leur conception et à éclairer certains mécanismes de la perception humaine.