IA médicale : le MIT réduit l’incertitude des diagnostics assistés

Dans un service de radiologie, l’enjeu n’est pas seulement de produire une réponse : il faut aider un clinicien à prendre la bonne décision malgré l’ambiguïté des images. Une radiographie thoracique peut par exemple faire apparaître des signes qui évoquent aussi bien un épanchement pleural que des infiltrats pulmonaires. Dans ce type de situation, une IA qui se contente d’afficher un diagnostic et un pourcentage de confiance ne résout pas entièrement le problème. Sa confiance affichée peut elle-même être mal calibrée.

Des chercheurs du Massachusetts Institute of Technology, le MIT, proposent une piste pour rendre ces systèmes plus utiles dans les contextes critiques. Leur méthode associe deux outils : la classification conforme, qui fournit une liste de réponses plausibles avec une garantie statistique, et l’augmentation au moment du test, ou TTA pour test-time augmentation. D’après leurs résultats, cette combinaison réduit de 10 à 30 % la taille des listes de prédictions sur plusieurs benchmarks d’images, sans devoir réentraîner le modèle.

L’objectif n’est pas de remplacer le jugement médical par un algorithme. Il s’agit plutôt de transformer une sortie informatique parfois opaque ou trop incertaine en un signal plus exploitable : une sélection resserrée de diagnostics possibles, dont le bon diagnostic a de fortes chances de faire partie selon un niveau de couverture défini à l’avance.

Pourquoi les scores de confiance ne suffisent pas

Les modèles de vision par ordinateur affectent généralement un score à chaque catégorie qu’ils envisagent. Une image peut ainsi être classée comme relevant d’une maladie plutôt que d’une autre, accompagnée d’une probabilité. Cette présentation semble intuitive, mais elle pose une difficulté majeure : une probabilité estimée par un modèle n’est pas nécessairement une mesure fidèle de sa fiabilité réelle.

Autrement dit, un système qui annonce être confiant à 90 % ne réussit pas forcément dans 90 % des cas comparables. Ce décalage, appelé problème de calibration, est particulièrement préoccupant lorsque les décisions concernent la santé, la sécurité ou d’autres domaines à fort enjeu. La performance moyenne d’un algorithme ne dit pas non plus si son résultat est suffisamment solide pour le cas précis examiné par un professionnel.

Les images médicales illustrent bien cette difficulté. Elles peuvent contenir des signaux faibles, des superpositions anatomiques, des artefacts ou des caractéristiques partagées par plusieurs affections. L’IA peut aider à attirer l’attention sur des détails subtils, mais elle doit aussi exprimer clairement ses limites. Présenter une seule étiquette comme une certitude risque de masquer l’incertitude inhérente à l’analyse.

La classification conforme, une liste plutôt qu’un verdict isolé

La classification conforme répond à cette limite en modifiant la forme de la réponse fournie par le modèle. Au lieu de retenir uniquement le diagnostic ayant le score le plus élevé, elle génère un ensemble de prédictions : une liste de catégories plausibles. Cette liste est accompagnée d’une garantie probabiliste selon laquelle la véritable réponse y figure.

Le principe s’appuie sur des données étiquetées utilisées après l’entraînement du modèle. Ces données servent à calibrer le niveau d’incertitude à accepter afin de construire les ensembles de réponses. Si le modèle est très sûr de lui et bien étalonné sur un exemple, l’ensemble peut être réduit. Lorsque l’image est ambiguë, plusieurs diagnostics peuvent être conservés.

Pour un clinicien, ce fonctionnement peut être plus informatif qu’un pourcentage isolé. Il permet de savoir non seulement quelle hypothèse est jugée la plus vraisemblable, mais aussi quelles alternatives sérieuses doivent rester dans le champ de l’examen. L’approche est notamment adaptée aux situations dans lesquelles exclure trop vite une pathologie importante peut être risqué.

Son principal défaut tient toutefois à la longueur des listes produites. Si une IA propose trop de diagnostics à la fois, elle peut déplacer l’incertitude vers le professionnel au lieu de la réduire. Une liste longue est moins actionnable, ralentit le tri des hypothèses et peut finir par diminuer l’intérêt pratique de l’outil.

Comment l’augmentation au moment du test affine l’analyse

Pour réduire ces listes sans perdre la garantie recherchée, l’équipe du MIT utilise l’augmentation au moment du test. Cette technique consiste à fabriquer plusieurs versions d’une même image au moment où le modèle doit l’analyser. Il peut s’agir, par exemple, d’un recadrage ou d’une rotation. Le modèle effectue une prédiction pour chaque variante, puis les résultats sont agrégés.

L’idée est simple : si une conclusion reste cohérente malgré des transformations pertinentes de l’image, cette conclusion gagne en robustesse. À l’inverse, une prédiction qui change fortement selon une légère variation doit être traitée avec davantage de prudence. L’agrégation de plusieurs évaluations donne ainsi une estimation plus stable du résultat pour l’exemple considéré.

Cette étape intervient après l’entraînement. Elle ne suppose donc pas de repartir de zéro ni de modifier les paramètres internes du modèle. C’est un avantage opérationnel important pour des systèmes coûteux à entraîner ou déjà utilisés comme base de recherche. Elle impose en revanche de calculer plusieurs prédictions pour une même image, ce qui peut augmenter le temps de traitement et les besoins informatiques.

Dans le cas d’une image médicale, les transformations doivent naturellement rester compatibles avec la tâche. Une variation qui altérerait une information cliniquement déterminante ne serait pas pertinente. La TTA n’est donc pas une recette automatique : son choix et ses paramètres doivent être validés pour chaque usage.

Une meilleure répartition des données disponibles

L’apport central des chercheurs consiste à exploiter la TTA afin de préserver une forte précision lors de l’agrégation, même lorsqu’une partie des données étiquetées post-entraînement est réservée à la classification conforme. Cette organisation des données permet d’obtenir des ensembles de prédictions plus compacts tout en maintenant la garantie de couverture associée à la méthode conforme.

Selon Divya Shanmugam, citée par le MIT, le procédé est à la fois simple et efficace, sans exiger de réentraînement des modèles. Sur plusieurs benchmarks d’images, l’association de la TTA et de la classification conforme a fait diminuer la taille des ensembles de prédictions de 10 à 30 %.

Ce chiffre ne correspond pas à une hausse de 10 à 30 % de la précision brute d’un système. Il mesure la réduction du nombre d’options proposées à l’utilisateur. La nuance est essentielle : l’intérêt de la recherche est de produire des listes plus courtes et donc potentiellement plus utiles, tout en préservant le cadre probabiliste de la classification conforme.

Ce que cette méthode change pour les décisions critiques

Dans un contexte médical, une liste de diagnostics mieux calibrée pourrait permettre au praticien de concentrer son attention sur les hypothèses les plus pertinentes. Cela ne fait pas disparaître les difficultés du diagnostic, notamment la nécessité de rapprocher l’image de l’examen clinique, des antécédents du patient et d’autres analyses. Mais une aide informatique capable de signaler ses propres incertitudes peut être plus sûre qu’un outil qui affiche une réponse unique avec une confiance trompeuse.

La logique s’étend à d’autres tâches de classification visuelle. Les chercheurs évoquent notamment l’identification d’espèces animales à partir d’images. Dans ce cas aussi, proposer quelques espèces plausibles plutôt qu’une longue liste ou une réponse isolée pourrait faciliter la vérification par un spécialiste ou un utilisateur averti.

L’intérêt dépasse donc les seules performances d’un benchmark. Les systèmes d’IA à fort enjeu doivent être évalués sur leur capacité à communiquer l’incertitude, pas seulement sur leur taux de bonnes réponses moyen. Une IA peut être très performante globalement tout en se trompant de manière préoccupante sur des cas rares, atypiques ou de mauvaise qualité. Les méthodes de prédiction conforme offrent un langage statistique pour mieux encadrer ce risque.

Des limites à ne pas négliger avant un usage clinique

Ces résultats portent sur plusieurs benchmarks d’images, c’est-à-dire des jeux de données utilisés pour comparer les méthodes de vision par ordinateur. Ils constituent un signal de recherche encourageant, mais ne suffisent pas à valider un outil pour le soin réel. Entre une expérimentation sur des données de référence et un déploiement en milieu hospitalier, il reste de nombreuses étapes : validation sur des populations représentatives, analyse des biais, intégration aux pratiques, supervision humaine et évaluation de l’impact sur les décisions.

La garantie de la classification conforme dépend également des données utilisées pour le calibrage et des conditions dans lesquelles le système est ensuite employé. Si les cas rencontrés dans un hôpital diffèrent fortement des données qui ont servi à régler la méthode, le comportement observé peut évoluer. Les modèles doivent donc être testés dans les environnements où ils sont destinés à fonctionner.

Enfin, la TTA multiplie les inférences sur une même image. Cela peut être acceptable pour certaines analyses, mais plus contraignant lorsque le temps de réponse est critique ou que les ressources de calcul sont limitées. Le gain en qualité de l’information doit être mis en balance avec ce coût supplémentaire.

Ce qu’il faut surveiller

Les chercheurs souhaitent désormais étudier plus finement la manière de répartir les données étiquetées disponibles après l’entraînement d’un modèle entre les différentes étapes de la méthode. Cette question est importante, car ces données sont souvent limitées dans les secteurs spécialisés, à commencer par la santé.

L’équipe envisage également de vérifier si l’approche peut s’appliquer à des modèles chargés d’analyser du texte. Une telle extension élargirait considérablement son champ d’application, par exemple à des systèmes qui classent des documents ou assistent une décision à partir de données textuelles. Il faudra alors déterminer quelles formes d’augmentation sont adaptées au langage et comment préserver le sens des informations analysées.

Le projet est soutenu en partie par Wistron Corporation. Les résultats doivent être présentés à la conférence CVPR, consacrée à la vision par ordinateur et à la reconnaissance des formes, prévue en juin 2025. Au-delà de cette présentation, le véritable test sera de démontrer que des ensembles de prédictions plus courts améliorent effectivement les décisions humaines, sans créer une confiance excessive dans des outils qui doivent rester des assistants, et non des arbitres.