ChatGPT-4 obtient 90 % en diagnostic dans une étude, devant des médecins

Un chatbot peut-il être meilleur qu’un médecin pour identifier une maladie complexe ? Les résultats d’un essai publié dans JAMA Network Open bousculent cette question. Face à six cas cliniques issus de patients réels, ChatGPT-4 a atteint un score diagnostique moyen de 90 %, quand des médecins ont obtenu 76 % avec l’outil et 74 % sans lui.

Le constat est frappant, mais il appelle une lecture rigoureuse. L’expérience ne montre pas qu’un chatbot peut prendre en charge un patient seul dans un cabinet, aux urgences ou à l’hôpital. Elle montre en revanche qu’un grand modèle de langage, correctement confronté à un dossier clinique complexe, peut produire des hypothèses et des explications d’un niveau très élevé. Elle met surtout en évidence une difficulté moins technologique qu’organisationnelle : disposer d’une IA ne suffit pas à en tirer un bénéfice médical.

Ce que l’étude a réellement comparé

L’essai a réuni 50 médecins, parmi lesquels des résidents et des praticiens déjà établis, recrutés dans plusieurs grands hôpitaux américains. Chaque participant devait résoudre six études de cas construites à partir de patients réels. Les scénarios avaient été développés de façon à ne pas avoir été préalablement enseignés aux participants.

Pour chaque dossier, les médecins devaient proposer trois diagnostics possibles et justifier leur raisonnement. Une partie d’entre eux pouvait s’appuyer sur ChatGPT-4, quand les autres devaient raisonner sans cet assistant. En parallèle, le chatbot a été évalué seul sur les mêmes cas.

Les réponses ont ensuite été examinées par des experts médicaux qui ignoraient leur origine, humaine ou générée par l’IA. Cette évaluation à l’aveugle est importante : elle évite, autant que possible, qu’un correcteur valorise ou dévalorise une réponse parce qu’il sait qu’elle vient d’un système informatique.

L’écart entre les deux groupes de médecins est réduit, seulement 2 points. En revanche, l’écart avec le chatbot évalué seul est beaucoup plus important. C’est ce paradoxe qui a retenu l’attention des chercheurs : l’outil paraît très performant lorsqu’il traite le dossier dans son ensemble, mais sa simple mise à disposition ne transforme pas automatiquement la décision humaine.

Pourquoi les médecins équipés de l’IA n’ont-ils pas fait beaucoup mieux ?

Le Dr Adam Rodman, médecin interniste impliqué dans l’analyse, s’attendait à ce que les praticiens ayant accès à ChatGPT-4 surpassent nettement ceux qui n’en disposaient pas. Or, l’amélioration observée est restée modeste.

L’étude suggère une explication essentielle : plusieurs médecins ont utilisé le chatbot comme un moteur de recherche, avec des questions ponctuelles sur un symptôme ou une hypothèse, plutôt que comme un outil capable d’examiner l’ensemble d’un cas. Cette manière de l’interroger peut réduire son intérêt. Un diagnostic repose souvent sur l’articulation de nombreux éléments : âge, chronologie des symptômes, traitements récents, antécédents, résultats biologiques, examens d’imagerie et signes parfois contradictoires.

Un grand modèle de langage est particulièrement à l’aise lorsqu’il reçoit une description structurée et complète, puis qu’on lui demande de hiérarchiser des pistes. À l’inverse, une succession de questions isolées risque de fragmenter le raisonnement. Cela ne signifie pas que les médecins manquent de compétences. Leur expertise clinique comporte des dimensions que le protocole ne reproduit pas, notamment l’examen physique, l’évaluation de l’état général, l’échange avec le patient et la prise de décision sous contrainte de temps.

Il met néanmoins en lumière un phénomène bien connu en médecine : face à une première hypothèse jugée convaincante, il peut être difficile de reconsidérer son diagnostic, même lorsqu’une autre piste est argumentée. Une IA peut être utile précisément parce qu’elle force à revisiter les hypothèses négligées. Encore faut-il lui laisser cette place dans le processus de réflexion.

Un cas clinique qui illustre la force du raisonnement différentiel

L’un des scénarios soumis aux participants concernait un patient de 76 ans souffrant d’une forte douleur dans le bas du dos après une angioplastie. La fièvre et la fatigue faisaient partie des éléments à interpréter. Parmi les hypothèses envisagées figurait une embolie cholestérolique, une complication pouvant survenir après certaines procédures vasculaires.

Ce type de cas est révélateur de ce que l’on appelle le raisonnement différentiel. Le clinicien ne cherche pas seulement une réponse immédiate. Il doit établir une liste d’explications possibles, déterminer lesquelles sont les plus vraisemblables, puis identifier celles qu’il faut impérativement exclure parce qu’elles sont graves ou urgentes.

Dans cette étude, ChatGPT-4 a de nouveau fourni des explications jugées plus précises que celles de certains médecins. L’intérêt ne réside donc pas uniquement dans le nom d’une maladie proposée. Il tient aussi à la capacité du système à relier les symptômes, l’âge du patient et le contexte récent d’une intervention médicale.

Cette aptitude s’explique en partie par le fonctionnement des grands modèles de langage. Entraînés sur d’immenses volumes de textes, ils repèrent des associations entre les éléments d’un récit clinique et les descriptions médicales auxquelles ils ont été exposés. Ils peuvent ainsi restituer rapidement une synthèse cohérente. Mais cette cohérence apparente ne garantit pas, à elle seule, que la réponse est vraie dans le cas particulier d’un patient.

Un chatbot peut-il diagnostiquer un patient à la place d’un médecin ?

Non. L’étude ne permet pas de conclure qu’un chatbot doit remplacer un médecin, ni même qu’il peut être utilisé sans supervision pour établir un diagnostic individuel. Elle compare des réponses à des vignettes cliniques, dans des conditions contrôlées. Or, la médecine réelle comporte des informations difficiles à intégrer dans un texte : l’aspect d’un patient, l’intensité d’une douleur, la qualité de la respiration, les résultats incomplets d’examens, les évolutions heure par heure ou encore les préférences de la personne soignée.

Un modèle conversationnel peut aussi produire une réponse convaincante mais erronée. Il ne mesure pas lui-même la tension artérielle, n’ausculte pas un cœur, ne prescrit pas un examen de confirmation et ne porte pas la responsabilité juridique ou éthique d’une décision. La qualité de ses réponses dépend également des informations qui lui sont fournies. Une donnée absente, imprécise ou mal interprétée peut orienter toute son analyse dans la mauvaise direction.

Il faut aussi distinguer deux usages : l’aide au professionnel et le conseil direct au grand public. Dans le premier cas, un médecin dispose des moyens de vérifier une suggestion et de la replacer dans l’histoire complète du patient. Dans le second, le risque est que l’utilisateur retarde une consultation, se rassure à tort ou s’inquiète inutilement à partir d’une réponse générique.

L’ambition la plus crédible est donc celle défendue par Adam Rodman : considérer ces outils comme des « extensions des médecins ». L’IA peut apporter une seconde opinion, rappeler des diagnostics rares, structurer une synthèse ou signaler des incohérences. Le médecin garde la responsabilité de l’interprétation, de la vérification et de la décision.

Comment intégrer l’IA sans fragiliser la qualité des soins ?

L’enjeu n’est pas simplement de donner accès à ChatGPT ou à un autre assistant conversationnel dans les établissements de santé. Il faut définir un usage adapté à la pratique médicale, former les équipes et prévoir des règles de contrôle. L’essai montre qu’une interface disponible sans méthode claire peut n’apporter qu’un gain très limité.

Une utilisation prudente repose notamment sur plusieurs principes :

• présenter au système un cas complet et suffisamment structuré, plutôt qu’une liste de symptômes isolés ;
• demander des hypothèses hiérarchisées et les éléments qui les soutiennent ou les affaiblissent ;
• vérifier les propositions dans les références médicales, les résultats d’examens et le contexte propre au patient ;
• conserver une traçabilité de la décision et de la validation humaine ;
• protéger les données de santé et ne pas transmettre d’informations identifiantes à un outil non autorisé pour cet usage.

Cette approche impose une formation. Les médecins doivent apprendre non seulement à formuler des demandes utiles, mais aussi à détecter les erreurs plausibles d’un assistant. Les établissements doivent, eux, organiser la gouvernance de ces outils : choix des solutions, règles de confidentialité, contrôle des résultats et répartition explicite des responsabilités.

La question du biais est tout aussi centrale. Si les données et les textes sur lesquels un système a appris reflètent des lacunes ou des inégalités, ses réponses peuvent les reproduire. Une performance moyenne élevée ne dit pas nécessairement si l’outil est équitable pour tous les profils de patients, toutes les maladies ou tous les contextes de soins.

L’IA doit-elle raisonner comme un médecin ?

Le débat dépasse la seule performance chiffrée. Faut-il attendre d’une IA qu’elle reproduise étape par étape la manière dont un médecin raisonne, ou accepter qu’elle trouve de bonnes hypothèses par une voie différente ? Un système de langage n’a ni expérience clinique directe ni intuition au sens humain du terme. Il traite des régularités statistiques présentes dans les textes et génère une réponse probable au regard de sa demande.

Cette différence n’empêche pas une collaboration utile. Dans d’autres domaines, les outils informatiques ne remplacent pas nécessairement les experts, mais les aident à repérer ce qu’ils auraient pu manquer. En médecine, une IA qui formule une piste inattendue peut enrichir le raisonnement différentiel. À condition que cette piste soit discutée, testée et validée selon les standards médicaux.

La relation de soin reste également irremplaçable. Annoncer une incertitude, comprendre les contraintes sociales d’un patient, expliquer les bénéfices et les risques d’un traitement, recueillir un consentement ou accompagner une mauvaise nouvelle ne se résument pas à produire une réponse exacte. La précision diagnostique est une composante essentielle de la médecine, mais elle n’en constitue pas la totalité.

Ce qu’il faut surveiller pour passer du test au soin réel

Cette étude pose une base solide pour de futures recherches, mais les questions décisives restent ouvertes. Il faudra mesurer si l’usage d’une IA améliore réellement les résultats pour les patients, réduit les erreurs diagnostiques et aide les équipes sans créer de nouveaux risques. Les tests devront aussi porter sur davantage de spécialités, de situations urgentes et de populations diverses.

Il faudra surtout comprendre quelles méthodes de collaboration fonctionnent le mieux. Les 90 % obtenus par ChatGPT-4 seul montrent le potentiel d’un modèle confronté à un dossier complet. Les 76 % des médecins ayant accès à l’outil montrent qu’entre la puissance technique et le bénéfice clinique, il y a une étape cruciale : l’apprentissage d’un travail à deux, où l’IA élargit le champ des possibles et où le professionnel de santé garde le dernier mot.

La véritable révolution ne se jouera donc pas uniquement dans les performances des chatbots. Elle dépendra de leur intégration dans des pratiques sûres, transparentes et centrées sur le patient.