Les IA face au test cognitif MoCA : ce que révèlent réellement leurs échecs

Un chatbot qui dialogue avec aisance, reformule un compte rendu médical ou résume un article scientifique peut donner l’impression de raisonner comme une personne. Une expérience publiée dans le BMJ invite pourtant à nuancer fortement cette intuition. En soumettant plusieurs grands modèles de langage à un test de dépistage cognitif conçu pour les humains, des chercheurs ont observé des lacunes nettes, en particulier lorsqu’il faut traiter des informations visuelles, organiser une action ou mémoriser des mots après un délai.

L’étude a suscité une comparaison frappante entre les fragilités de certains modèles et celles observées chez des personnes atteintes de troubles neurologiques. Mais cette analogie doit être maniée avec précision. Un modèle de langage ne possède ni cerveau, ni mémoire autobiographique, ni conscience, et il ne « vieillit » pas au sens biologique. L’intérêt de l’expérience est ailleurs : elle montre qu’une réponse très convaincante en langage naturel ne garantit pas une compétence fiable dans toutes les tâches que l’on associe à la cognition.

Un test clinique humain appliqué à des chatbots

Les chercheurs ont utilisé le Montreal Cognitive Assessment, plus connu sous le sigle MoCA. Ce questionnaire, noté sur 30 points, a été conçu pour détecter des signes de troubles cognitifs légers chez des personnes, notamment âgées. Il explore plusieurs domaines : la mémoire, l’attention, le langage, l’orientation, l’abstraction, ainsi que les capacités visuospatiales et les fonctions exécutives.

Les fonctions exécutives désignent, en termes simples, les capacités qui permettent de planifier une tâche, de suivre une règle, de passer d’une consigne à une autre ou de contrôler une réponse. Les compétences visuospatiales concernent quant à elles l’interprétation et la manipulation mentale de formes, de positions et de relations dans l’espace.

Les modèles évalués étaient ChatGPT-4, ChatGPT-4o, Claude 3.5 Sonnet d’Anthropic et Gemini 1.0 d’Alphabet. Les résultats obtenus ne sont pas un diagnostic médical, car le MoCA n’a pas été élaboré pour évaluer une machine. Ils servent plutôt de révélateur : ils permettent de repérer, au moyen de consignes standardisées, les situations où les systèmes peinent malgré leur très grande facilité à produire du texte.

GPT-4o franchit le seuil de 26 sur 30, pas les autres modèles

Dans le cadre clinique humain, un score de 26 sur 30 est souvent utilisé comme seuil indicatif en dessous duquel une évaluation plus approfondie peut être nécessaire. Parmi les systèmes testés, seul ChatGPT-4o atteint exactement ce résultat. ChatGPT-4 et Claude 3.5 Sonnet obtiennent chacun 25 points, soit un point sous ce seuil. Gemini 1.0 est nettement plus bas, avec 16 sur 30.

Ces chiffres doivent être lus pour ce qu’ils sont. Ils ne permettent pas de classer définitivement tous les modèles ni de prédire leur qualité sur chaque usage. Les grands modèles de langage évoluent rapidement, leurs réponses peuvent varier selon la formulation d’une requête et le résultat dépend aussi des modalités exactes de l’évaluation. Ils établissent néanmoins un constat utile : les outils les plus impressionnants en conversation peuvent échouer à des exercices élémentaires dans un protocole différent.

Où les modèles ont-ils échoué ?

Les difficultés rapportées concernent surtout les exercices exigeant une coordination entre compréhension d’instructions, représentation visuelle et planification. Les modèles ont notamment rencontré des problèmes dans le traçage alterné de chiffres et de lettres, une tâche qui demande de suivre une séquence selon une règle donnée.

Ils ont aussi échoué dans des exercices liés à l’horloge, qui supposent d’identifier ou de manipuler une représentation de l’heure. Ce point est particulièrement parlant : décrire une horloge en langage naturel est une chose, exploiter correctement l’organisation spatiale de ses aiguilles et de ses chiffres en est une autre.

Enfin, Gemini 1.0 a particulièrement peiné lors de l’épreuve de rappel différé. Dans cette tâche, le système devait retenir une liste de cinq mots après un délai. Cette faiblesse rappelle que les capacités d’un chatbot ne correspondent pas à une mémoire humaine stable. Un LLM produit sa réponse à partir de probabilités apprises dans ses données d’entraînement et du contexte présent dans la conversation. Il ne conserve pas un souvenir au sens où une personne se remémore un événement ou une information apprise.

Les IA perdent-elles vraiment leurs capacités avec le temps ?

C’est l’interprétation la plus spectaculaire, mais elle va plus loin que ce que permet d’établir l’expérience. L’étude compare les réponses de modèles à des exercices cognitifs à un instant donné. Elle ne suit pas les mêmes systèmes pendant des mois ou des années afin de mesurer une dégradation progressive de leurs performances.

Dire que ces IA connaissent un « déclin cognitif » relève donc avant tout d’une métaphore fondée sur la structure du test et sur le profil de certaines erreurs. Les chercheurs rapprochent notamment les lacunes visuospatiales et exécutives observées de difficultés qui peuvent apparaître dans l’atrophie corticale postérieure, une forme rare de maladie d’Alzheimer affectant notamment le traitement des informations visuelles et spatiales.

La comparaison est éclairante pour décrire des ressemblances de résultats à certains exercices. Elle ne signifie pas qu’un système informatique développe une maladie neurodégénérative. Chez l’humain, les troubles cognitifs sont liés à des mécanismes biologiques complexes. Chez un modèle de langage, les erreurs peuvent provenir de l’architecture, de ses données d’entraînement, de la façon dont une consigne est traduite en texte, ou encore de sa capacité limitée à traiter certains éléments visuels ou structurés.

Pourquoi cette expérience interpelle la médecine

L’enjeu est particulièrement important dans le domaine de la santé. Les assistants conversationnels peuvent rendre le jargon médical plus accessible, aider à préparer des questions pour une consultation ou résumer de longs documents. Cette apparente simplicité peut toutefois encourager certains utilisateurs à leur accorder une confiance excessive.

Or, le diagnostic médical ne consiste pas seulement à restituer des informations générales. Il exige de recueillir une histoire clinique fiable, d’interpréter des symptômes dans leur contexte, de prendre en compte un examen physique, de hiérarchiser les hypothèses et d’identifier les situations urgentes. La responsabilité du professionnel, l’échange avec le patient et la possibilité de vérifier les données sont également essentiels.

Les résultats obtenus au MoCA confortent donc une prudence déjà nécessaire : un chatbot ne doit pas remplacer un médecin, un neurologue ou tout autre professionnel de santé dans une décision clinique. Une réponse peut être grammaticalement impeccable, rassurante et même détaillée tout en étant inadaptée au cas particulier d’une personne.

Cela ne signifie pas que l’intelligence artificielle est inutile en médecine. Son rôle le plus crédible réside dans l’assistance : organiser de vastes volumes de données, aider à retrouver des informations, automatiser certaines tâches administratives ou signaler des éléments à examiner. Dans tous ces cas, la supervision humaine reste le garde-fou déterminant.

La fluidité du langage peut masquer des angles morts

L’expérience illustre une difficulté plus générale dans l’évaluation des IA génératives. Les humains attribuent spontanément des compétences mentales à une machine qui formule des phrases naturelles, répond rapidement et adopte un ton assuré. Cette tendance peut conduire à confondre l’aisance verbale avec une compréhension robuste du monde.

Un grand modèle de langage est particulièrement performant pour prédire la suite plausible d’un texte. Cette aptitude peut produire des explications très utiles, des synthèses structurées ou du code informatique. Mais elle n’implique pas automatiquement une perception fiable, une mémoire durable, un raisonnement invariant ou une capacité à reconnaître ses propres limites.

Pour les utilisateurs, quelques réflexes permettent de réduire les risques :

• vérifier les informations importantes auprès de sources reconnues ou de professionnels compétents ;
• ne pas confier à un chatbot seul une décision médicale, juridique, financière ou de sécurité ;
• demander les limites, les incertitudes et les hypothèses d’une réponse, plutôt que de s’arrêter à sa formulation ;
• comparer les résultats lorsque l’enjeu est élevé, car une réponse isolée peut contenir une erreur difficile à repérer.

L’étude évoque également une préoccupation concernant l’usage intensif de l’IA par les étudiants. Si un outil peut soutenir l’apprentissage, une délégation trop systématique des tâches d’analyse, de rédaction ou de résolution de problèmes pourrait réduire l’occasion d’exercer sa propre réflexion critique. Cette question dépasse les seuls modèles évalués : elle concerne la manière dont les humains choisissent d’intégrer ces assistants à leurs pratiques quotidiennes.

Ce qu’il faut surveiller pour des IA plus fiables

Les prochaines évaluations devront aller au-delà de la seule qualité conversationnelle. Des tests reproductibles, couvrant la mémoire, le raisonnement, la vision, la capacité à suivre une procédure et la résistance aux erreurs, sont indispensables pour savoir ce qu’un modèle peut réellement faire dans un contexte donné.

Il faudra aussi distinguer deux questions souvent mélangées. La première est celle des limites intrinsèques d’un modèle à une date précise. La seconde est celle de sa stabilité dans le temps : après une mise à jour, un changement de données ou une modification de l’interface, ses performances progressent-elles, stagnent-elles ou régressent-elles ? Seules des évaluations répétées avec des protocoles transparents pourront répondre solidement à cette dernière interrogation.

À court terme, l’enseignement majeur est simple. Les grands modèles de langage peuvent être de puissants assistants, mais ils ne disposent pas d’une intelligence générale comparable à celle d’un humain. Les échecs mis en lumière par le MoCA rappellent que la meilleure façon d’utiliser ces outils consiste à connaître leurs forces, à tester leurs faiblesses et à conserver un contrôle humain sur les décisions qui comptent.