IA en santé : pourquoi les algorithmes de risque doivent aussi être réglementés

Dans un cabinet médical ou à l’hôpital, un algorithme ne prend pas toujours la forme spectaculaire d’un assistant conversationnel ou d’un logiciel qui lit une image. Il peut aussi se présenter sous la forme plus discrète d’un score : une estimation du risque de réadmission, de complication, de maladie ou d’aggravation. Ces outils influencent parfois la priorisation des patients, les examens prescrits ou le suivi proposé. C’est précisément pourquoi leur encadrement ne peut pas se limiter aux formes les plus sophistiquées de l’intelligence artificielle.

Une analyse menée par des chercheurs du MIT, d’Equality AI et de l’Université de Boston appelle les organismes de réglementation à regarder de près ces instruments d’aide à la décision clinique. Leur message est simple : un outil apparemment banal peut produire des effets importants sur les soins. Si ses données de conception sont incomplètes ou si son fonctionnement échappe à l’évaluation, il risque de reproduire des inégalités au lieu de les réduire.

Aux États-Unis, une règle qui vise les décisions de soins

Le débat s’inscrit dans le contexte américain des nouvelles dispositions adoptées par l’Office des droits civils, l’OCR, du département de la Santé et des Services sociaux. Elles concernent notamment les outils d’aide à la décision utilisés dans la prise en charge des patients.

L’enjeu est celui de la non-discrimination. Les règles prohibent une discrimination fondée sur des critères tels que la race, le sexe, l’âge ou le handicap dans le recours à ces outils. Cette exigence ne vise donc pas seulement les technologies récemment qualifiées d’IA. Elle englobe aussi des mécanismes automatisés plus anciens, ainsi que des algorithmes relativement simples, dès lors qu’ils interviennent dans une décision de soins.

Cette précision compte. Dans les discussions publiques, l’expression « IA en santé » évoque souvent la détection d’une tumeur sur une radiographie, le développement de médicaments ou les modèles génératifs capables de résumer un dossier médical. Or, les systèmes de santé emploient depuis longtemps des formules statistiques et des scores intégrés aux logiciels médicaux. Leur ancienneté ne les met pas à l’abri d’un contrôle.

De quels algorithmes parle-t-on exactement ?

Les outils d’aide à la décision clinique ont des usages très variés. Ils peuvent alerter un médecin lorsqu’un résultat paraît anormal, estimer la probabilité d’un événement médical ou proposer une conduite à tenir à partir d’informations présentes dans un dossier. Le professionnel de santé conserve, en principe, son jugement clinique. Mais une recommandation chiffrée peut peser lourdement dans une décision, surtout lorsqu’elle s’insère dans les procédures habituelles d’un établissement.

Les chercheurs attirent particulièrement l’attention sur les scores de risque clinique. Ceux-ci combinent des variables, par exemple des antécédents médicaux ou des résultats d’examens, afin d’estimer une probabilité. Ils sont parfois moins opaques qu’un modèle d’apprentissage automatique très complexe. Cela ne signifie pas qu’ils sont automatiquement justes, pertinents pour tous les patients ou exempts de biais.

La frontière entre un « simple » score et une IA plus élaborée est d’ailleurs moins importante pour le patient que la conséquence concrète de l’outil. Si une estimation entraîne un accès plus tardif à une consultation, à un examen ou à une ressource rare, elle doit pouvoir être interrogée et corrigée.

Pourquoi les données déterminent l’équité des décisions

Un algorithme apprend ou calcule à partir d’informations. Sa qualité dépend donc de celles qui ont servi à le concevoir, à le tester et à l’utiliser. Si les données reflètent des différences historiques d’accès aux soins, de diagnostic ou de prise en charge, un modèle peut confondre ces inégalités avec des caractéristiques médicales pertinentes.

Le risque ne suppose pas nécessairement une intention discriminatoire. Une variable apparemment neutre peut être associée à des réalités sociales ou à des parcours de soins très différents. De même, un modèle qui fonctionne correctement dans la population sur laquelle il a été développé peut se révéler moins fiable lorsqu’il est déployé dans un autre hôpital ou auprès d’autres patients.

C’est pourquoi les chercheurs estiment que les scores de risque doivent respecter les mêmes exigences fondamentales que les outils d’IA plus complexes : transparence, examen de la qualité des données, vérification de la justesse des résultats et recherche de biais potentiels. L’objectif n’est pas de supposer qu’un algorithme est fautif par nature. Il s’agit d’exiger des preuves qu’il est adapté à l’usage médical pour lequel il est employé.

Un biais peut-il venir d’un outil pourtant très simple ?

Oui. Un score peut reposer sur une formule parfaitement documentée et tout de même produire des résultats inéquitables. Tout dépend de la sélection des variables, de la population sur laquelle il a été élaboré et de la manière dont ses résultats sont interprétés.

L’évaluation doit notamment permettre de répondre à plusieurs questions concrètes : quelles données sont prises en compte ? Certains groupes sont-ils sous-représentés dans les données initiales ? Le niveau de précision reste-t-il comparable d’un groupe de patients à l’autre ? Et surtout, que se passe-t-il dans la pratique lorsqu’un médecin reçoit le score ?

Des outils déjà très présents dans la pratique médicale

L’analyse souligne que la question n’est pas théorique. La plupart des médecins américains recourent régulièrement à des outils servant à évaluer des risques cliniques et près de 65 % les utilisent chaque mois. Ces chiffres illustrent la place prise par les recommandations et évaluations algorithmiques dans la médecine courante.

Pourtant, les chercheurs pointent un vide de supervision : aucun organisme de régulation n’est spécifiquement chargé de contrôler l’ensemble des scores de risque clinique. Certaines catégories de logiciels médicaux font l’objet d’exigences particulières, mais la diversité des outils, leur intégration aux dossiers médicaux électroniques et la variété de leurs usages rendent l’encadrement difficile à uniformiser.

Il ne suffit donc pas de demander si un système est officiellement présenté comme une IA. La bonne question est plutôt : cet outil contribue-t-il à une décision qui peut modifier la qualité, l’accès ou l’équité des soins ? Si c’est le cas, il doit faire l’objet d’une attention proportionnée à ses conséquences.

Encadrer l’usage réel, pas seulement la technologie

Une régulation efficace ne se résume pas à apposer une étiquette sur un logiciel. Elle doit s’intéresser à son cycle de vie complet : données mobilisées, objectifs du modèle, validation, déploiement dans un établissement, surveillance de ses effets et possibilité de le corriger ou de le retirer.

Pour les professionnels, cela suppose aussi de comprendre les limites de l’outil. Une estimation de risque n’est pas un diagnostic certain, pas plus qu’elle ne remplace l’échange avec le patient. Le danger d’une confiance excessive existe lorsque le chiffre paraît objectif simplement parce qu’il a été calculé par un logiciel.

Dans le même temps, la réglementation doit éviter de créer une fausse impression de sécurité. Un outil peut respecter des formalités administratives et rester inadapté à un contexte clinique précis. L’évaluation doit donc être continue, en tenant compte de l’évolution des données, des usages et des populations prises en charge.

Les dossiers médicaux électroniques compliquent le contrôle

L’un des principaux défis tient à l’omniprésence des outils d’aide à la décision dans les dossiers médicaux électroniques. Lorsqu’une alerte ou un score est intégré à l’interface quotidienne des soignants, il peut devenir difficile de distinguer ce qui relève d’une simple fonctionnalité du logiciel, d’une recommandation clinique et d’un système algorithmique soumis à évaluation.

Cette intégration rend aussi la standardisation délicate. Les établissements n’utilisent pas tous les mêmes logiciels, ne disposent pas des mêmes données et n’organisent pas les soins de la même manière. Une règle générale doit donc protéger les patients sans ignorer la diversité des contextes médicaux.

La dimension politique ajoute une difficulté supplémentaire. Le principe d’équité dans les soins peut se heurter à des oppositions envers des réglementations existantes ou envisagées. Pour les auteurs de l’analyse, cette incertitude rend d’autant plus nécessaire une discussion claire sur les responsabilités des concepteurs, des hôpitaux, des professionnels et des autorités publiques.

Ce qu’il faut surveiller d’ici mars 2025

L’institut Jameel prévoit d’organiser une conférence consacrée à la réglementation des outils d’IA en santé en mars 2025. L’ambition est de réunir chercheurs, régulateurs et professionnels de santé afin de confronter les principes de gouvernance aux réalités de terrain.

Les discussions devront notamment porter sur un point décisif : comment identifier les outils qui méritent une surveillance, y compris lorsqu’ils ne sont pas commercialisés comme des systèmes d’IA ? Elles devront aussi préciser les méthodes permettant d’examiner les biais sans empêcher l’usage d’outils utiles aux soignants.

L’enjeu de fond consiste à trouver un équilibre. L’IA et les algorithmes peuvent contribuer à mieux anticiper certains risques et à éclairer des décisions complexes. Mais leur adoption ne doit pas transformer des inégalités présentes dans les données en recommandations médicales automatisées. La sécurité des patients et l’équité des soins dépendront moins de la promesse technologique que de la capacité des institutions à vérifier, expliquer et corriger les outils déployés.