ChatGPT-5 : pourquoi un modèle très avancé échoue encore à des tests simples

OpenAI a placé la barre très haut pour GPT-5, le nouveau système qui alimente ChatGPT depuis le début du mois d’août 2025. Sam Altman, le dirigeant de l’entreprise, l’a présenté comme un « expert de niveau doctorat » accessible à la demande. Pourtant, quelques tests très courts, largement partagés par des utilisateurs, ont livré un contraste saisissant : le même outil capable de produire des raisonnements élaborés a parfois trébuché sur l’orthographe de mots courants ou sur les noms d’États et de territoires.

Ce décalage peut sembler absurde. Comment une intelligence artificielle vantée pour ses capacités de raisonnement peut-elle se tromper en comptant des lettres, inventer des noms géographiques ou dupliquer une entrée dans une liste ? Il ne suffit pas à invalider les progrès revendiqués par OpenAI. En revanche, il rappelle un point essentiel pour tous les utilisateurs : un grand modèle de langage ne fonctionne pas comme un dictionnaire, une calculatrice ou une base de données géographique infaillible.

Ce qu’OpenAI promet avec GPT-5

Avec GPT-5, OpenAI ne met pas seulement en avant une version plus puissante de son assistant conversationnel. L’entreprise décrit un système conçu pour adapter sa manière de répondre à la demande reçue. Une question simple doit pouvoir obtenir une réponse rapide. Une tâche plus difficile, qui exige de comparer des informations, de planifier ou de résoudre un problème, peut mobiliser davantage de raisonnement.

Sam Altman a résumé cette ambition par la formule d’un « expert de niveau doctorat » à portée de main. La comparaison vise à souligner l’écart avec les générations antérieures de ChatGPT, assimilées, dans cette présentation, à des niveaux d’études moins avancés. Mais une formule de communication ne doit pas être comprise comme une garantie absolue de compétence dans tous les domaines ni dans toutes les circonstances.

Un modèle comme GPT-5 sait produire du texte, expliquer des concepts, reformuler, synthétiser et résoudre de nombreux problèmes en s’appuyant sur les régularités qu’il a apprises. Il peut être très performant sur des demandes complexes et échouer sur une opération apparemment triviale. Cette apparente contradiction tient en partie à la nature même de ces systèmes.

Des erreurs élémentaires relevées dès le lancement

Les premières réactions sur les réseaux sociaux ont mis en avant plusieurs réponses surprenantes. Dans un exemple souvent cité, ChatGPT-5 aurait affirmé que le mot anglais « blueberry » contient trois lettres B. Or, ce mot contient deux « b », en ignorant la différence entre majuscule et minuscule.

D’autres tests portaient sur la géographie américaine. Invité à repérer les États des États-Unis dont le nom contient la lettre « R », le chatbot a fourni des résultats incohérents. Il a notamment fait apparaître des graphies telles que « Krizona » et « Vermoni », qui ne correspondent à aucun État américain. Dans un autre cas rapporté, il a dupliqué la Californie dans une liste et inventé des dénominations comme « New Jefst » et « Mitroinia ».

Un test consacré aux États et territoires australiens a également révélé une erreur de comptage. Pour Northern Territory, le modèle aurait annoncé trois « R » et écrit « Northan Territor ». Pourtant, « Northern » contient deux « r » et « Territory » en contient trois, soit cinq « r » au total.

Ces exemples sont embarrassants parce qu’ils ne requièrent ni interprétation juridique délicate, ni raisonnement scientifique de pointe. Ils portent sur des chaînes de caractères et des noms propres connus. C’est précisément pourquoi ils sont utiles : ils montrent immédiatement à quel point une réponse formulée avec assurance peut être fausse.

Pourquoi une IA de langage échoue-t-elle à compter des lettres ?

Un grand modèle de langage est entraîné à prévoir la suite la plus probable d’un texte. Pour traiter une demande, il découpe habituellement les mots en unités internes, souvent appelées « tokens ». Ces unités ne correspondent pas nécessairement aux lettres, ni même aux mots complets. Le système est donc remarquablement efficace pour produire une phrase naturelle, mais il n’exécute pas automatiquement chaque question comme le ferait un programme conçu spécifiquement pour compter des caractères.

Les tâches de comptage de lettres sont devenues un test classique de cette différence. Un humain peut visualiser un mot et parcourir chaque caractère. Un logiciel très simple peut appliquer une règle déterministe et fournir toujours le même total. Un modèle conversationnel, lui, peut parfois produire la bonne réponse en raisonnant étape par étape, mais aussi s’appuyer sur une forme trop générale ou approximative du mot et se tromper.

La géographie pose un problème voisin. Un assistant peut avoir rencontré des millions de textes évoquant l’Arizona, le Vermont ou la Californie. Cela ne garantit pas qu’il saura constituer sans faute une liste exhaustive selon un critère précis. Lorsqu’il complète une réponse mot après mot, il peut confondre, déformer ou inventer une forme qui ressemble à un nom plausible. C’est ce phénomène que l’on désigne souvent par le terme d’hallucination.

Une hallucination n’est pas un mensonge au sens humain. Le modèle n’a pas l’intention de tromper. Il génère une information qui paraît cohérente dans le contexte, mais qui n’est pas fondée ou qui est incorrecte. Le danger vient justement de sa fluidité : un nom inventé comme « Mitroinia » peut être détecté facilement, tandis qu’une date, une référence ou un chiffre erroné mais plausible peut passer inaperçu.

Le rôle du routeur et du raisonnement approfondi

L’une des particularités annoncées pour GPT-5 est son routeur en temps réel. Son rôle consiste à sélectionner le modèle ou le mode de traitement qui paraît le plus approprié selon le type de conversation et l’intention de l’utilisateur. Une demande qui exige de « penser plus intensément » peut ainsi déclencher un modèle de raisonnement plus avancé.

Cette architecture cherche à concilier deux objectifs qui peuvent s’opposer : répondre vite aux requêtes simples et consacrer davantage de calcul aux problèmes complexes. Elle explique aussi pourquoi l’expérience peut varier d’une question à l’autre. La qualité de la réponse ne dépend pas uniquement de la connaissance supposée du système, mais aussi de la manière dont la demande est interprétée et orientée.

Des observateurs, dont Dan Shipper, de Every, ont relevé des situations dans lesquelles GPT-5 semblait inventer des explications de passages de texte. Selon les cas rapportés, demander explicitement au système de réfléchir plus longtemps a permis d’obtenir ensuite une réponse plus exacte. Cela suggère qu’un mode de raisonnement plus poussé peut améliorer le résultat sur certaines tâches.

Il faut toutefois éviter une conclusion trop simple : demander à l’IA de « penser davantage » n’est pas une garantie de vérité. Une réponse plus longue peut être plus rigoureuse, mais elle peut aussi développer une erreur avec beaucoup de conviction. Le bon réflexe consiste à réserver ce type de consigne aux questions qui demandent réellement plusieurs étapes, puis à vérifier les éléments importants.

ChatGPT-5 est-il déjà une intelligence artificielle générale ?

Le lancement de GPT-5 s’est accompagné d’un déploiement à très grande échelle : le service s’adresse à environ 700 millions d’utilisateurs hebdomadaires de ChatGPT. Cette diffusion rend les progrès du modèle immédiatement visibles, mais elle expose aussi ses failles au regard du public. Chaque réponse étrange peut être copiée, testée de nouveau et comparée avec une réponse correcte obtenue en quelques secondes.

L’ampleur du lancement nourrit forcément les discussions sur l’intelligence artificielle générale, parfois désignée par son sigle anglais AGI. Cette expression renvoie à l’idée d’un système capable d’accomplir de façon générale les tâches intellectuelles humaines, avec une grande autonomie et une robustesse élevée. Sam Altman a toutefois précisé que GPT-5 n’a pas encore atteint ce niveau.

Cette nuance est importante. Un système peut dépasser de nombreuses personnes sur une épreuve de programmation, de rédaction ou d’analyse de documents, tout en manquant de fiabilité sur une question factuelle brève. L’intelligence ne se résume pas à une note unique. Dans les usages réels, la régularité, la capacité à reconnaître une incertitude et la possibilité de vérifier le résultat comptent autant que la performance maximale.

Pour un particulier, cela implique de choisir l’outil selon l’enjeu. ChatGPT-5 peut aider à préparer un brouillon, trouver des pistes, expliquer une notion ou organiser une liste de questions. En revanche, une information médicale, juridique, financière, administrative ou géographique destinée à guider une décision doit être recoupée avec une source compétente et à jour.

Comment utiliser ChatGPT-5 avec davantage de fiabilité

Les erreurs signalées ne rendent pas l’outil inutile. Elles invitent à une utilisation plus méthodique. Pour améliorer les chances d’obtenir une réponse exploitable, quelques pratiques simples sont particulièrement utiles :

• formuler une demande précise, avec le périmètre, le pays, la période et le format attendus ;
• demander au modèle de montrer les étapes d’un calcul ou de distinguer faits, hypothèses et incertitudes ;
• décomposer une tâche complexe en plusieurs vérifications courtes ;
• contrôler les noms propres, les nombres, les citations et les listes exhaustives dans une référence adaptée ;
• ne pas confier une décision sensible à une réponse unique générée par une IA.

Dans le cas des mots ou des listes, il peut être utile de demander au chatbot de recopier explicitement chaque élément avant de compter ou de classer. Cette démarche rend parfois l’erreur visible. Mais un tableur, une recherche documentaire ou un outil spécialisé reste plus approprié lorsque l’exactitude est indispensable.

Ce qu’il faut surveiller après le lancement

GPT-5 illustre une phase nouvelle de l’IA générative : les assistants deviennent plus capables, plus rapides et plus largement disponibles, mais leur comportement demeure inégal selon les demandes. Les performances impressionnantes sur une tâche complexe ne doivent pas créer une confiance automatique sur toutes les autres.

La question centrale, après le lancement, n’est donc pas seulement de savoir si ChatGPT-5 est plus intelligent que ses prédécesseurs. Elle est de mesurer dans quelles conditions il est fiable, quand son routeur active le bon niveau de raisonnement, et comment l’utilisateur peut repérer une réponse douteuse avant d’en subir les conséquences.

Les tests de lettres et de géographie peuvent prêter à sourire. Ils jouent néanmoins un rôle utile : ils rappellent qu’une IA conversationnelle est un assistant de production et de raisonnement, non une autorité infaillible. À mesure que ces outils s’installent dans le quotidien de centaines de millions de personnes, la capacité à les interroger avec précision et à vérifier leurs sorties devient une compétence aussi importante que savoir les utiliser.