Biais dans les données d’IA : les questions que tout étudiant doit se poser

Les performances spectaculaires d’un système d’intelligence artificielle peuvent facilement faire oublier une réalité plus fondamentale : un modèle apprend à partir de ce qu’on lui montre. Si les données sont incomplètes, collectées dans un contexte très particulier ou déséquilibrées entre plusieurs populations, l’IA risque de reproduire ces limites à grande échelle. Pour un étudiant qui manipule un jeu de données, repérer ces angles morts n’est donc pas un supplément éthique : c’est une condition de la rigueur scientifique.

Le biais n’est pas forcément le signe d’une intention de discriminer. Il peut naître d’une décision pratique, par exemple recruter des volontaires dans un seul lieu, utiliser un appareil de mesure imparfait ou conserver uniquement les dossiers les plus complets. Mais ses effets peuvent être très concrets. Un modèle peut sembler précis en moyenne tout en commettant davantage d’erreurs pour les groupes les moins présents dans les données.

Pourquoi les données comptent autant que l’algorithme

Un algorithme ne possède pas une vision directe et complète du monde. Il détecte des régularités dans les exemples disponibles. Il est donc essentiel de distinguer la population étudiée, c’est-à-dire les personnes ou situations présentes dans la base, de la population cible, celle à laquelle on veut appliquer le modèle par la suite.

Prenons un outil d’aide à la décision médicale entraîné avec des données provenant d’une unité de soins intensifs. Les dossiers peuvent être riches : analyses de laboratoire, traitements, constantes physiologiques et évolution des patients. Pourtant, ces informations concernent seulement les personnes admises dans ce service. Elles ne décrivent pas les malades soignés ailleurs, ceux qui n’ont pas pu accéder à l’hôpital, ni ceux dont l’état n’a jamais justifié une admission en soins intensifs.

La base n’est pas nécessairement inutilisable. Elle peut être très utile pour étudier une question précise, dans un cadre précis. Le problème apparaît lorsque ses résultats sont généralisés sans précaution à une population beaucoup plus vaste. Cette différence entre ce que les données permettent d’affirmer et ce que l’on voudrait leur faire dire est au cœur de l’apprentissage critique de l’IA.

Quelles questions poser avant d’entraîner un modèle ?

La première compétence à acquérir consiste à documenter le jeu de données avant de choisir un modèle ou de régler ses paramètres. Une liste de contrôle simple oblige à ralentir au bon moment, avant que les résultats chiffrés donnent une illusion de certitude.

Ces questions ne donnent pas automatiquement une réponse binaire, « biaisé » ou « non biaisé ». Elles servent plutôt à délimiter les usages légitimes de la base, à signaler les zones d’incertitude et à décider quels contrôles sont nécessaires.

La question la plus importante est parfois la plus simple : qui a été exclu de l’échantillon ? Une exclusion peut résulter de critères explicites, comme l’âge ou le lieu de résidence. Elle peut aussi être indirecte. Une enquête en ligne, par exemple, sélectionne de fait les personnes disposant d’un accès numérique et du temps nécessaire pour répondre. Dans un dossier de santé électronique, les données manquantes peuvent refléter l’absence d’un examen, mais aussi des différences d’accès aux soins ou de pratiques entre établissements.

Les trois biais les plus fréquents à reconnaître

Les biais prennent des formes variées, souvent combinées. Les étudiants gagnent à les nommer clairement, car cela rend l’analyse plus précise et évite de traiter un problème de recrutement comme s’il s’agissait d’un défaut de calcul.

Le biais de sélection

Il survient lorsque les personnes ou les cas intégrés dans un jeu de données ne sont pas comparables à ceux auxquels le modèle sera destiné. L’exemple des soins intensifs l’illustre bien : les patients admis constituent une population particulière, définie par des critères médicaux, institutionnels et parfois sociaux. Un modèle formé sur ces dossiers ne peut pas être présumé fiable pour l’ensemble de la population.

Le biais de sélection peut aussi découler de données dites de convenance, collectées parce qu’elles sont facilement accessibles. Leur disponibilité ne garantit pas leur représentativité.

Le biais de mesure

Les données ne sont pas des observations parfaitement neutres. Elles résultent d’instruments, de procédures et de décisions humaines. Il faut donc demander : quel dispositif a été utilisé pour effectuer la mesure ? Sa précision est-elle connue ? Les méthodes étaient-elles identiques pour tous les participants ? Les catégories employées ont-elles été définies de manière cohérente ?

Dans le domaine de la santé, une valeur de laboratoire, un diagnostic ou l’absence d’un résultat n’ont de sens qu’à la lumière du protocole qui les a produits. Des différences entre appareils, services ou périodes de collecte peuvent introduire des écarts que le modèle prendra pour des signaux pertinents.

Le biais d’échantillonnage et les données manquantes

Un échantillon peut être trop petit, trop homogène ou insuffisamment équilibré. Dans ce cas, le modèle dispose de peu d’exemples pour apprendre à traiter certaines situations. Les données manquantes ajoutent une difficulté : elles ne sont pas toujours absentes par hasard. Un test médical non réalisé, par exemple, peut dépendre de l’état du patient, des décisions des soignants ou des ressources disponibles.

Les modèles de type transformateur, également utilisés pour analyser des dossiers de santé électroniques, peuvent étudier des relations complexes entre des résultats de laboratoire et des traitements. Cette capacité ne dispense toutefois pas d’examiner la qualité des informations. Un modèle sophistiqué peut exploiter les structures des données manquantes, sans pour autant réparer les inégalités qui les ont produites.

Comment vérifier qu’un modèle traite les groupes de façon comparable ?

L’analyse du jeu de données est indispensable, mais elle doit se prolonger après l’entraînement. Une bonne performance moyenne peut masquer des écarts importants. Il faut donc évaluer le modèle par sous-groupes pertinents au regard de son usage : catégories d’âge, lieux de collecte, types d’équipements, profils cliniques ou autres caractéristiques justifiées par le problème étudié.

Plusieurs indicateurs sont utiles. On peut comparer le taux d’erreur, la précision, le taux de faux positifs ou celui de faux négatifs selon les groupes. Le choix de la mesure dépend du contexte. En santé, un faux négatif peut retarder une prise en charge. Dans une procédure de tri, un faux positif peut conduire à mobiliser inutilement des ressources. L’équité ne se réduit donc pas à un unique chiffre : elle suppose d’identifier quelles erreurs ont le plus de conséquences et pour qui.

Les bibliothèques spécialisées peuvent rendre cette démarche plus accessible. AIF360, développé autour d’outils d’équité algorithmique, propose des métriques et des méthodes d’analyse. Fairness Indicators aide à visualiser certaines différences de performance entre groupes. Ces outils sont précieux pour détecter un écart, pas pour décider seuls de ce qui est juste. L’interprétation requiert toujours une connaissance du terrain, des personnes concernées et des conséquences d’une erreur.

Apprendre à enquêter, plutôt qu’à seulement coder

La détection des biais est une compétence collective. Un data scientist peut repérer une anomalie statistique, mais un professionnel de santé, un praticien de terrain ou une personne familière des conditions de collecte peut en expliquer l’origine. Réunir des profils différents permet de transformer une question abstraite, « pourquoi cette variable manque-t-elle ? », en investigation concrète sur les pratiques et les contraintes qui ont façonné la base.

Les datathons, ces ateliers collaboratifs centrés sur l’analyse de données, constituent un cadre particulièrement utile. Les participants y confrontent leurs hypothèses, explorent des jeux de données locaux parfois peu étudiés et discutent des limites d’interprétation. L’intérêt pédagogique ne réside pas seulement dans la production d’un prototype. Il consiste aussi à apprendre à justifier les choix effectués, à signaler les incertitudes et à écouter les objections.

Pour un cours ou un projet étudiant, quelques réflexes peuvent structurer ce travail :

• rédiger une fiche décrivant l’origine, la période, les critères d’inclusion et les principales limites du jeu de données ;
• explorer la distribution des variables avant de construire le modèle ;
• comparer les résultats selon des sous-groupes pertinents et suffisamment représentés ;
• distinguer les constats établis par les données des hypothèses qui demandent une validation externe ;
• consigner les décisions prises, notamment lorsqu’une variable est retirée, transformée ou utilisée pour une comparaison.

Cette documentation a une valeur pratique. Elle permet à d’autres étudiants, chercheurs ou professionnels de comprendre ce qui a été fait et d’éviter de reproduire des erreurs déjà identifiées.

Pourquoi réexaminer les bases de données historiques ?

Les jeux de données réputés, largement utilisés dans la recherche ou l’enseignement, doivent eux aussi être réévalués. Leur ancienneté, leur richesse ou leur popularité ne les rendent pas universels. La base MIMIC, construite à partir de données cliniques, est notamment employée pour la recherche sur les soins critiques. Son étude permet aussi de rappeler qu’une base très documentée conserve les caractéristiques du contexte dans lequel elle a été constituée.

Réexaminer une base ne signifie pas la disqualifier. Cela peut révéler des limites de couverture, des évolutions des pratiques, des changements d’équipements ou des variables dont la signification doit être actualisée. C’est une démarche normale de qualité scientifique : la connaissance d’un jeu de données évolue au fil de ses usages et des questions qu’on lui adresse.

Pour les étudiants, cette habitude est particulièrement formatrice. Elle évite de considérer les données comme une matière première objective, prête à l’emploi. Une base est aussi une archive de décisions : décisions de collecte, de classement, d’accès, de nettoyage et de conservation. Les comprendre aide à mieux mesurer la portée réelle d’un résultat.

Ce qu’il faut surveiller dans les futurs projets d’IA

La vigilance sur les biais doit accompagner tout le cycle de vie d’un système, de la collecte à son déploiement. Une IA peut rencontrer de nouvelles populations, de nouvelles pratiques ou de nouvelles conditions d’utilisation. Un modèle qui semblait bien fonctionner en phase de test peut alors voir ses performances évoluer.

Le premier enjeu est donc la surveillance continue : réexaminer les données, suivre les erreurs et vérifier que les écarts entre groupes ne se creusent pas. Le deuxième est la transparence : les limites d’un modèle, ses données d’entraînement et son champ d’application doivent être compréhensibles par celles et ceux qui l’utilisent. Enfin, le troisième enjeu est la formation. Apprendre aux futurs professionnels à poser les bonnes questions dès le départ reste l’un des moyens les plus concrets de prévenir des décisions automatisées injustes ou mal adaptées.

L’ambition n’est pas de trouver un jeu de données parfaitement neutre, objectif rarement réaliste. Elle est de rendre visibles les limites, de réduire les déséquilibres évitables et de ne jamais présenter une prédiction comme une vérité indépendante des données qui l’ont façonnée.