Google AMIE apprend à lire les images médicales pour mieux dialoguer avec les patients

Lire une photo de lésion cutanée, interpréter la courbe d’un électrocardiogramme, puis poser les bonnes questions à un patient : c’est cette combinaison que Google cherche à confier à AMIE. Le système, dont le nom signifie Articulate Medical Intelligence Explorer, ne se limite plus à une conversation textuelle. Il est conçu pour intégrer des informations visuelles à un dialogue clinique, une capacité essentielle dans une médecine où les symptômes décrits ne racontent jamais toute l’histoire.

Cette évolution compte, car un échange médical ne consiste pas seulement à faire correspondre une liste de signes à une maladie. Le praticien observe, demande des précisions, tient compte d’examens et modifie progressivement ses hypothèses. Avec AMIE, Google explore la possibilité qu’une IA conversationnelle accompagne cette démarche en combinant texte et images. Les premiers résultats sont encourageants dans un environnement expérimental, mais ils ne constituent pas la démonstration qu’un médecin virtuel peut prendre en charge des patients dans le monde réel.

AMIE, une IA médicale qui ne se contente plus du texte

Les précédents travaux autour d’AMIE portaient déjà sur ses qualités de conversation clinique textuelle. Or, dans la pratique, de nombreuses informations médicales sont visuelles ou graphiques. Une éruption cutanée peut présenter une forme, une répartition et une évolution qui orientent le diagnostic. Un électrocardiogramme, souvent appelé ECG, enregistre l’activité électrique du cœur sous la forme d’un tracé que les professionnels doivent interpréter avec précision.

La nouvelle version étudiée par Google vise à faire entrer ces éléments dans l’échange. AMIE peut ainsi dialoguer avec un patient tout en prenant en compte des documents visuels partagés durant la conversation. Les cas de test comprennent notamment :

• des photographies dermatologiques ;
• des électrocardiogrammes ;
• des informations cliniques et des résultats présentés au cours du dialogue.

L’enjeu n’est pas simplement de reconnaître une image isolée. L’objectif est de relier ce que montre l’image à l’histoire racontée par le patient, aux questions déjà posées et aux incertitudes qui restent à lever. Une photo cutanée, par exemple, doit être interprétée avec l’âge de la personne, la durée d’apparition des symptômes ou la présence éventuelle de fièvre, d’irritation ou d’autres signes associés.

Gemini 2.0 Flash au cœur d’un raisonnement guidé par l’état de la consultation

Pour cette recherche, les équipes de Google ont utilisé Gemini 2.0 Flash comme moteur principal d’AMIE. Ce modèle est associé à un cadre de raisonnement dit « conscient des états ». Derrière cette formulation technique se trouve une idée assez intuitive : l’IA doit savoir où elle en est dans la consultation.

Elle distingue les données déjà connues, les hypothèses qu’elle peut envisager et les informations qu’il lui faut encore obtenir. Cela lui permet, en théorie, d’éviter de poser des questions inutiles ou de conclure trop tôt. Si une image apporte un indice mais ne permet pas d’écarter plusieurs causes possibles, AMIE est censée poursuivre l’interrogatoire de façon ciblée.

Le diagnostic différentiel est un point central. Il ne correspond pas à l’affirmation immédiate d’une maladie unique, mais à une liste organisée de causes possibles. Pour un médecin, cette liste doit être suffisamment large pour ne pas négliger une situation importante, tout en restant cohérente avec les données recueillies. Google a donc évalué AMIE sur la qualité et la précision de ce raisonnement, et pas seulement sur une réponse finale.

Comment Google a évalué l’IA avec 105 cas simulés

Tester un outil médical directement auprès de patients réels pose des questions de sécurité, d’éthique et de méthode. Google a donc mis en place un laboratoire de simulation, dans lequel AMIE échangeait avec des acteurs formés pour jouer des patients. L’étude à distance reposait sur 105 scénarios médicaux différents, conçus sur un modèle proche des examens cliniques objectifs structurés, souvent désignés par le sigle OSCE.

Dans ce type d’épreuve, le scénario est standardisé : chaque participant reçoit des informations comparables et doit mener une consultation selon des critères précis. Les acteurs ne se contentent pas d’improviser une discussion. Ils incarnent une situation clinique définie et transmettent les éléments prévus par le protocole, y compris des images lorsqu’elles sont pertinentes.

Pour constituer ces cas, les chercheurs ont notamment exploité deux ensembles de données médicales : PTB-XL pour les électrocardiogrammes et SCIN pour les images dermatologiques. Les conversations se déroulaient sur une interface permettant le partage de visuels, ce qui plaçait AMIE dans une situation plus proche d’une téléconsultation enrichie que d’un simple questionnaire.

Les échanges ont ensuite été examinés par des évaluateurs spécialistes en dermatologie, en cardiologie et en médecine interne. Ils ont comparé les performances de l’IA avec celles de médecins humains selon différents critères : pertinence des questions, interprétation des données multimodales, qualité des diagnostics différentiels, précision diagnostique et erreurs commises.

Des évaluations souvent favorables à AMIE, mais dans un cadre contrôlé

Dans cette évaluation, AMIE a souvent obtenu de meilleurs scores que les médecins humains sur l’interprétation d’informations combinant dialogue et visuels. Les spécialistes ont notamment jugé ses listes de diagnostics différentiels plus complètes et plus précises. L’IA a aussi reçu des évaluations favorables concernant la précision du diagnostic dans les scénarios étudiés.

Les personnes jouant les patients ont, elles aussi, apporté un résultat notable. Beaucoup ont perçu AMIE comme plus empathique et plus digne de confiance que les médecins humains au cours de ces échanges textuels. Cette appréciation ne signifie évidemment pas qu’un logiciel ressent de l’empathie. Elle indique plutôt que ses réponses ont été vécues comme attentives, compréhensibles ou rassurantes dans le cadre particulier d’une conversation écrite scénarisée.

Google relève également que le nombre d’erreurs liées à l’interprétation des images était comparable entre AMIE et les médecins humains. C’est un résultat important, mais qui exige une lecture prudente : être comparable à des médecins sur un ensemble de situations simulées ne revient pas à démontrer une sécurité suffisante pour des décisions réelles, qui peuvent engager immédiatement la santé d’une personne.

Pourquoi une bonne performance en simulation ne suffit pas

Les résultats montrent le potentiel de l’IA conversationnelle multimodale, mais l’étude comporte une limite majeure que Google reconnaît explicitement : elle repose sur une simulation. Une consultation réelle est plus mouvante et plus complexe qu’un scénario, même soigneusement construit.

Dans un cabinet, à l’hôpital ou aux urgences, les informations peuvent être incomplètes, contradictoires ou difficiles à exprimer. Les images peuvent être de qualité médiocre. Le patient peut présenter plusieurs problèmes de santé à la fois, prendre des médicaments qui modifient les symptômes ou nécessiter un examen physique. Les soignants doivent aussi décider quand une situation relève de l’urgence, quand un examen complémentaire est nécessaire et comment expliquer les incertitudes.

Le protocole étudié est également centré sur une interaction à distance comprenant du texte et des images. Google évoque la nécessité de progresser vers des formats plus dynamiques, intégrant notamment l’audio et la vidéo. Ces modalités pourraient fournir des informations supplémentaires, mais elles ajoutent aussi des difficultés : qualité de captation, compréhension de la parole, protection des données personnelles et évaluation rigoureuse des erreurs possibles.

Un outil d’assistance plutôt qu’un médecin de remplacement

L’intérêt le plus concret d’un système comme AMIE se situe, à ce stade, dans l’assistance. Une IA capable de résumer les éléments d’un échange, de repérer des données à clarifier ou de proposer un diagnostic différentiel pourrait aider les cliniciens à structurer une consultation. Elle pourrait aussi améliorer la circulation de l’information, notamment dans des contextes de télémédecine où les données visuelles prennent une place croissante.

Mais la responsabilité clinique resterait un enjeu déterminant. Un résultat produit par un modèle d’IA doit pouvoir être vérifié, discuté et replacé dans l’état global du patient. Une réponse apparemment convaincante n’est pas nécessairement juste, et un système de langage peut présenter une hypothèse avec assurance sans disposer de tous les éléments nécessaires.

Le recours à des médecins experts pour l’évaluation est donc essentiel, tout comme la mise à l’épreuve de l’outil auprès de populations et de situations variées. Les performances d’une IA peuvent dépendre de la qualité des données utilisées, de la représentation de différents types de peau dans les images dermatologiques, des appareils ayant produit les ECG ou encore de la façon dont les patients décrivent leurs symptômes.

Ce qu’il faut surveiller avant un usage clinique réel

Google envisage déjà l’intégration de Gemini 2.5 Flash à AMIE. Selon les premiers tests mentionnés par l’équipe, cette évolution donne des résultats prometteurs pour améliorer l’exactitude des diagnostics et les plans de prise en charge. Il faudra toutefois des évaluations approfondies par des médecins experts avant de pouvoir tirer des conclusions sur son intérêt réel.

Plusieurs questions devront être tranchées avant toute utilisation à grande échelle : la capacité du système à fonctionner dans des soins courants, sa fiabilité face à des cas atypiques, la manière dont les professionnels peuvent contrôler ses recommandations et les garanties offertes autour des données de santé. Les patients doivent aussi savoir clairement lorsqu’ils dialoguent avec une IA, comprendre les limites de l’outil et conserver un accès à un soignant humain.

AMIE illustre ainsi une direction importante de l’IA médicale : faire évoluer les assistants conversationnels vers une compréhension plus riche des données cliniques. Les 105 scénarios étudiés offrent un signal de recherche intéressant. La prochaine étape, bien plus exigeante, consistera à démontrer que cette promesse résiste aux conditions réelles des soins, sans compromettre la sécurité ni la relation de confiance entre patients et professionnels.