IA en santé : pourquoi la régulation doit surveiller aussi les algorithmes classiques

Un algorithme peut aujourd’hui signaler une anomalie sur une image médicale, estimer le risque qu’un patient soit réadmis à l’hôpital ou aider à prioriser des dossiers. Ces outils peuvent renforcer le travail des soignants, à condition que leurs recommandations soient fiables pour les personnes auxquelles elles s’appliquent. C’est précisément sur ce point que plusieurs chercheurs appellent à ne pas confondre innovation technologique et garantie de sécurité.

Dans une publication du New England Journal of Medicine AI, des chercheurs du MIT, d’Equality AI et de Boston University plaident pour une régulation plus approfondie des algorithmes qui participent aux décisions cliniques. Leur message dépasse le seul cas des systèmes d’intelligence artificielle les plus sophistiqués : les outils plus anciens, tels que les scores de risque calculés à partir de quelques variables, peuvent eux aussi introduire des biais s’ils ne sont pas conçus, testés et suivis avec rigueur.

L’IA prend une place croissante dans les décisions médicales

L’intelligence artificielle recouvre ici des logiciels capables d’analyser de grandes quantités de données afin de produire une prédiction, une alerte, une classification ou une recommandation. En santé, ces données peuvent être des images, des résultats de laboratoire, des dossiers médicaux ou des informations saisies au cours d’une consultation.

L’objectif n’est pas de remplacer un médecin par une machine. Dans la plupart des cas, l’outil est présenté comme une aide : il attire l’attention sur un risque ou fournit une estimation qui complète l’examen clinique. Mais une recommandation affichée dans un logiciel peut peser lourd dans un contexte de soins chargé. Elle peut influencer l’ordre dans lequel des patients sont vus, les examens demandés ou la vigilance accordée à certains symptômes.

Les progrès rapides du secteur ont multiplié les outils proposés aux professionnels. D’après les chercheurs, 65 % des médecins américains utiliseraient des outils d’aide à la décision clinique sans disposer d’un cadre réglementaire clair pour ces usages. Cette situation ne signifie pas que tous les logiciels employés sont dangereux. Elle montre en revanche que l’existence d’un outil numérique dans le parcours de soin ne suffit pas à prouver sa qualité, son équité ou son efficacité sur le terrain.

Pourquoi un algorithme peut-il créer des inégalités de soins ?

Un algorithme apprend ou calcule à partir de données passées. Si ces données reflètent des écarts historiques dans l’accès aux soins, les diagnostics, les traitements ou la qualité du suivi, le résultat produit peut reproduire ces écarts. Le problème n’implique pas nécessairement une intention discriminatoire de la part des concepteurs. Il peut naître d’une donnée incomplète, d’une variable mal choisie ou d’un indicateur qui ne mesure pas réellement ce qu’il prétend mesurer.

Prenons un principe simple : un système qui estime un risque médical doit être confronté à des données représentatives des personnes qu’il aidera à soigner. Sinon, sa précision peut varier d’un groupe de patients à l’autre. Une estimation qui paraît pertinente en moyenne peut être moins fiable pour certains âges, certaines origines, certains territoires ou des personnes dont le parcours médical est moins bien documenté.

C’est l’une des préoccupations mises en avant par Isaac Kohane, professeur à la Harvard Medical School. Selon lui, même les scores de risque clinique, souvent moins complexes qu’un modèle d’IA, doivent être validés sur des données représentatives. Leur apparente simplicité ne les met pas à l’abri d’erreurs systématiques.

La conséquence ne se limite pas à une mauvaise prédiction abstraite. Dans un hôpital, un biais peut affecter la priorisation d’un dossier, la détection d’une aggravation, l’orientation d’un patient ou l’accès à une intervention. Les chercheurs appellent donc à évaluer à la fois l’efficacité générale d’un outil et la manière dont il se comporte pour différentes populations.

Ne pas limiter le contrôle aux seules IA les plus visibles

L’expression « intelligence artificielle » occupe une place centrale dans le débat public, notamment depuis l’essor des outils génératifs. Pourtant, les auteurs de la publication invitent à porter la même attention aux logiciels qui ne portent pas cette étiquette. Un score de risque établi au moyen d’une formule fixe peut influencer une décision de soins autant qu’un modèle plus complexe.

Cette distinction est importante pour la régulation. Si les obligations ne visent que les outils explicitement présentés comme de l’IA, des systèmes cliniques plus traditionnels peuvent échapper à une évaluation pourtant nécessaire. Or, la sécurité d’un patient dépend du rôle concret joué par l’outil, et non de son seul degré de sophistication technique.

La transparence est au cœur de cette démarche. Les soignants et les établissements doivent pouvoir connaître la finalité du logiciel, ses limites et les données ou critères qui conditionnent son résultat. Cette exigence ne suppose pas que chaque professionnel devienne spécialiste des modèles mathématiques. Elle permet en revanche d’éviter qu’un chiffre ou une alerte soit pris pour une certitude alors qu’il s’agit d’une estimation assortie de limites.

Ce que régulent déjà les autorités américaines

Le débat ne part pas de zéro. La Food and Drug Administration, ou FDA, a autorisé près de 1 000 dispositifs intelligents depuis la première autorisation d’un outil d’IA en 1995, selon les éléments cités par les chercheurs. Ce chiffre illustre l’ampleur prise par les logiciels utilisés dans le domaine médical et la nécessité d’un suivi à la hauteur de leur diffusion.

Il faut toutefois distinguer les catégories de produits et les cadres de contrôle. Un dispositif médical logiciel n’occupe pas la même place qu’un outil général d’aide à la décision clinique intégré à l’organisation d’un établissement. La publication souligne précisément qu’aucun organisme régulateur ne supervise l’ensemble des outils de soutien à la décision clinique comportant des éléments d’IA. Entre un produit soumis à une autorisation comme dispositif médical et un logiciel qui assiste une pratique professionnelle, les frontières peuvent être difficiles à lire pour les utilisateurs.

En parallèle, le Bureau de la protection de la vie privée du département américain de la Santé et des Services sociaux a publié une règle qui proscrit la discrimination dans les outils d’aide à la décision clinique. Cette orientation s’inscrit dans la priorité donnée à l’équité en santé par l’administration Biden.

Pour Marzyeh Ghassemi, chercheuse au MIT, cette régulation devrait encourager des améliorations centrées sur l’équité, qu’il s’agisse d’algorithmes d’IA ou d’outils plus classiques. L’enjeu est double : empêcher que de nouveaux systèmes créent des discriminations et corriger, lorsque c’est nécessaire, les biais de logiciels déjà utilisés.

Évaluer un outil avant, pendant et après son déploiement

Les chercheurs défendent une approche proactive. Elle consiste à examiner un système avant sa mise en service, mais aussi à maintenir une vigilance après son adoption. Cette seconde étape est essentielle : un outil peut avoir été conçu dans un environnement donné et être utilisé ensuite auprès d’une population différente, avec des pratiques ou des données qui ne sont pas exactement les mêmes.

Un cadre solide repose notamment sur plusieurs questions concrètes :

• L’outil apporte-t-il un bénéfice mesurable à la décision clinique qu’il est censé assister ?
• Les données mobilisées permettent-elles une validation représentative des patients concernés ?
• Les professionnels savent-ils à quel moment s’appuyer sur le résultat et à quel moment le remettre en question ?
• Existe-t-il un moyen de détecter une dégradation des performances ou un effet discriminatoire au fil du temps ?
• Qui, du fournisseur, de l’établissement ou de l’utilisateur, est chargé de signaler et de corriger un problème ?

Cette logique de suivi est particulièrement importante dans un secteur où les décisions ont des conséquences directes sur les personnes. Les auteurs insistent sur la transparence à chaque étape du développement et de l’usage des algorithmes destinés à influer sur les soins.

Maia Hightower, directrice générale d’Equality AI, souligne pour sa part la nécessité d’agir sans attendre. Dans un contexte politique où les enjeux de justice et d’égalité dans les soins font l’objet de débats, laisser des outils opaques orienter la prise en charge risquerait d’aggraver des inégalités existantes.

Santé mentale : une vigilance particulière face aux utilisateurs fragiles

La régulation des outils cliniques ne résume pas tous les enjeux de l’IA appliquée à la santé. Les applications liées à la santé mentale, notamment les systèmes conversationnels, font également émerger des questions de protection des utilisateurs. Elles peuvent sembler accessibles et réactives, ce qui nourrit l’espoir d’une détection plus rapide de certaines difficultés.

Mais la relation entre un utilisateur vulnérable et un chatbot ne peut pas être assimilée à une prise en charge médicale encadrée. La publication d’origine rappelle que des cas tragiques associés à des interactions problématiques avec des chatbots ont suscité de fortes inquiétudes. Ils soulignent l’importance de fixer des limites claires, d’éviter les usages abusifs et de prévoir des protections adaptées lorsque des personnes fragiles sollicitent ce type de technologie.

La vigilance demandée par les chercheurs porte ainsi sur l’ensemble de l’écosystème numérique de santé : dispositifs médicaux, outils cliniques, scores de risque et applications qui peuvent influencer la manière dont une personne comprend son état ou recherche de l’aide.

Un dialogue réglementaire attendu en mars 2025

Pour prolonger ces discussions, le Jameel Clinic prévoit d’organiser une nouvelle conférence consacrée à la régulation en mars 2025. L’objectif annoncé est de réunir chercheurs, régulateurs et acteurs du secteur afin d’échanger sur les bonnes pratiques relatives à l’IA en santé.

Ces échanges sont nécessaires parce qu’aucun acteur ne maîtrise seul toutes les dimensions du problème. Les chercheurs peuvent évaluer les méthodes et les biais ; les soignants peuvent juger de l’utilité réelle dans les pratiques ; les établissements doivent organiser le déploiement ; les autorités définissent les obligations ; les patients sont les premiers concernés par les conséquences d’une mauvaise décision.

Les conférences précédentes ont déjà permis d’ouvrir un dialogue sur les difficultés liées aux technologies avancées dans les soins. Reste à traduire ces discussions en exigences opérationnelles, compréhensibles pour les développeurs comme pour les hôpitaux.

Ce qu’il faut surveiller

À la fin de 2024, la question n’est donc plus de savoir si les algorithmes vont participer aux soins : ils le font déjà. Le défi est de s’assurer qu’ils renforcent réellement la sécurité et la qualité de la prise en charge, sans transformer les inégalités de données ou de parcours de soins en décisions automatisées.

Les points à surveiller concernent autant les nouveaux modèles d’IA que les outils plus anciens : validation sur des données représentatives, transparence des limites, contrôle des performances dans la durée et mécanismes de correction lorsqu’un biais est détecté. La régulation recherchée par les auteurs ne doit pas se contenter d’encadrer une technologie à la mode. Elle doit protéger les patients face à tout système numérique qui pèse sur une décision médicale.