Le MIT propose une méthode pour réduire les biais sans perdre en précision

Une base de données n’est jamais un simple matériau neutre. Elle reflète les choix de collecte, les réalités mesurées et, parfois, les angles morts de la société. Lorsqu’un système d’intelligence artificielle apprend surtout à partir d’exemples correspondant à certains profils, il peut se montrer moins fiable pour les personnes ou situations moins présentes dans ses données d’entraînement. Des chercheurs du Massachusetts Institute of Technology, le MIT, proposent une voie pour corriger ce problème sans payer le prix habituel d’une baisse de performance.

Leur méthode s’appuie sur TRAK, un outil conçu pour mesurer l’influence des exemples d’entraînement sur les prédictions d’un modèle. L’idée est simple dans son principe : au lieu de supprimer à grande échelle des données afin de rendre tous les groupes numériquement comparables, il s’agit d’identifier les quelques exemples qui contribuent le plus aux erreurs observées pour un groupe sous-représenté. Les retirer permettrait de conserver l’essentiel des données utiles tout en améliorant l’équité des résultats.

Pourquoi les biais des modèles posent-ils un problème concret ?

Un modèle d’apprentissage automatique repère des régularités statistiques dans les exemples qui lui sont fournis. S’il a rarement rencontré un cas donné, ou si les informations le concernant sont de moins bonne qualité, ses prédictions risquent d’être moins exactes. Ce déséquilibre peut concerner des catégories démographiques, mais aussi des contextes géographiques, des usages, des langues ou des situations rares.

Le mot « biais » recouvre plusieurs phénomènes. Il peut s’agir d’un biais d’échantillonnage, quand certains groupes sont insuffisamment représentés. Il peut aussi venir de la façon dont une donnée est mesurée ou étiquetée, ou encore de catégories trop simplificatrices. Dans tous les cas, le modèle peut obtenir un bon score moyen tout en commettant davantage d’erreurs pour une partie de la population.

Cette distinction est essentielle. Une précision globale élevée ne garantit pas que le système traite chaque groupe avec la même fiabilité. Dans des domaines où les décisions ont des conséquences importantes, notamment la médecine, une erreur concentrée sur les personnes déjà mal représentées dans les données peut aggraver des inégalités existantes.

La limite de l’équilibrage traditionnel des données

Une réponse courante consiste à rééquilibrer le jeu d’entraînement. Lorsque certains sous-groupes sont beaucoup plus nombreux que d’autres, les praticiens peuvent réduire le nombre d’exemples associés aux groupes majoritaires jusqu’à obtenir une représentation plus homogène.

Cette technique a une logique intuitive : si chaque groupe pèse davantage dans les données, le modèle devrait davantage apprendre à le reconnaître. Mais elle comporte une contrepartie. Les exemples retirés ne sont pas nécessairement mauvais. Certains peuvent au contraire contenir des informations utiles pour la performance générale du modèle. Un nettoyage trop large risque alors de diminuer sa précision, y compris pour les groupes qu’il fallait mieux servir.

Les travaux du MIT partent d’une autre question : toutes les données excédentaires sont-elles réellement responsables des erreurs ? La réponse apportée est non. Certaines observations ont une influence plus forte que d’autres sur une prédiction erronée. Les cibler avec précision peut être plus efficace que d’éliminer indistinctement de larges pans d’un jeu de données.

Comment TRAK relie une erreur aux données d’entraînement

La méthode proposée s’appuie sur l’attribution de données, c’est-à-dire l’analyse de la contribution d’un exemple d’entraînement à une prédiction. Avec TRAK, les chercheurs commencent par observer les erreurs commises par le modèle, en particulier celles qui affectent les groupes pour lesquels il est moins performant. Ils évaluent ensuite quels exemples du jeu d’entraînement ont le plus contribué à ces erreurs.

Le processus ne consiste donc pas à déclarer qu’une donnée est problématique en elle-même. Un même exemple peut être utile dans un contexte et influencer négativement une prédiction dans un autre. TRAK sert à estimer cette influence dans le fonctionnement du modèle étudié, afin de repérer les points dont le retrait est le plus susceptible de réduire les échecs ciblés.

Kimia Hamidieh, coautrice de l’étude, résume le principe ainsi : « La technique montre que tous les points de données ne se valent pas. » Cette idée est au cœur de l’approche. Dans un vaste jeu de données, la quantité ne suffit pas à déterminer la valeur d’un exemple pour l’apprentissage : son effet sur les décisions du modèle compte aussi.

Ce raisonnement diffère d’un simple contrôle de la répartition des catégories. Il cherche un lien entre les données et les erreurs réelles du modèle. En pratique, cette analyse peut également aider les équipes techniques à mieux comprendre ce qui se passe dans un ensemble de données complexe, y compris lorsque les biais ne sont pas clairement identifiés au départ.

Quels résultats les chercheurs du MIT ont-ils obtenus ?

Les résultats rapportés montrent qu’il est possible d’améliorer la précision pour les groupes minoritaires en supprimant un nombre limité de données d’entraînement. L’intérêt de la méthode ne tient pas seulement à la diminution des biais : elle vise aussi à éviter de détériorer les performances générales du système.

Dans les expérimentations décrites, l’approche a permis d’atteindre ce résultat avec jusqu’à 20 000 points de données supprimés en moins que les méthodes conventionnelles d’équilibrage. Ce chiffre illustre l’avantage recherché : ne pas sacrifier de nombreux exemples potentiellement utiles lorsqu’un ensemble beaucoup plus restreint suffit à atténuer certaines erreurs.

Il faut toutefois interpréter cette avancée avec précision. Elle ne signifie pas qu’un modèle devient automatiquement impartial après un nettoyage ciblé, ni qu’un seul indicateur peut résumer l’équité d’un système. Les résultats dépendent du jeu de données, de la tâche effectuée, des catégories évaluées et de la manière dont la performance est mesurée. La contribution des chercheurs est de proposer une méthode permettant de travailler ce compromis avec davantage de finesse.

Une méthode plus accessible pour les équipes d’IA

L’un des atouts mis en avant par les chercheurs est que la stratégie intervient au niveau des données. Elle ne demande pas de modifier en profondeur l’architecture du modèle sous-jacent. Pour une équipe qui utilise déjà un système d’apprentissage automatique, il peut être plus réaliste d’examiner et de nettoyer son jeu de données que de reconstruire intégralement le modèle ou d’inventer une nouvelle méthode d’entraînement.

Cette caractéristique ne rend pas l’opération triviale. Il faut disposer d’évaluations solides, définir les erreurs qui importent réellement et vérifier, après intervention, que les gains ne masquent pas une nouvelle faiblesse. Mais l’approche donne aux praticiens un outil pour passer d’un constat général, « le modèle est moins bon pour tel groupe », à une enquête plus concrète sur les exemples qui alimentent ces erreurs.

Les chercheurs soulignent aussi que les fonctions principales de l’outil peuvent servir à analyser des ensembles non étiquetés. C’est un point important, car de nombreuses bases de données utilisées en IA ne disposent pas d’annotations complètes. Mettre en évidence les éléments les plus influents peut alors aider à orienter l’audit et la collecte de données supplémentaires.

Cela ne dispense pas d’une expertise humaine. Les données non étiquetées rendent plus difficile l’identification précise des groupes touchés et la vérification d’un traitement équitable. TRAK peut éclairer la recherche de problèmes, mais il ne remplace ni une définition explicite des objectifs d’équité, ni un contrôle de la qualité des données, ni des tests auprès des publics concernés.

Au-delà de la santé, quels usages sont concernés ?

La santé est un exemple particulièrement parlant. Un modèle qui aide à établir un diagnostic doit rester fiable pour l’ensemble des patients qui pourront y être confrontés. Si ses données d’entraînement reflètent mal certains profils, le risque est de produire des recommandations moins pertinentes pour eux. Une méthode qui améliore la précision là où elle manque le plus peut donc avoir une portée pratique importante.

Mais le principe dépasse largement ce secteur. Les modèles de classification et de prédiction interviennent dans de nombreux services, qu’il s’agisse d’outils technologiques ou de décisions ayant un impact social. Partout où les données historiques sont incomplètes ou déséquilibrées, il faut se demander si les résultats sont comparables selon les personnes et les situations.

La recherche a reçu le soutien de la National Science Foundation et de la Defense Advanced Research Projects Agency, la DARPA. Ses résultats doivent être présentés à la conférence sur les systèmes de traitement d’informations neuronales, NeurIPS, l’un des grands rendez-vous internationaux de la recherche en apprentissage automatique.

Ce qu’il faut surveiller pour une IA réellement plus équitable

La méthode du MIT met en lumière une évolution importante : plutôt que d’opposer performance et équité comme deux objectifs incompatibles, il devient possible de chercher les données qui créent précisément ce conflit. Les résultats suggèrent qu’un modèle peut parfois mieux servir les groupes sous-représentés sans abandonner sa précision globale.

La suite dépendra de plusieurs éléments. Il faudra vérifier que cette approche se généralise à différents types de modèles, de tâches et de jeux de données. Il faudra aussi s’assurer que les critères choisis pour mesurer l’équité correspondent aux conséquences réelles des erreurs dans chaque domaine. Enfin, les équipes devront documenter les données retirées et les effets de leur décision, afin que l’amélioration annoncée puisse être examinée et reproduite.

À mesure que l’IA prend place dans des usages sensibles, la qualité d’un modèle ne pourra plus être évaluée à son seul score moyen. Sa capacité à rester fiable pour les populations et les situations les moins visibles dans ses données deviendra un critère tout aussi décisif.