IA équitable : le MIT propose de ne plus forcer les décisions binaires

Lorsqu’un algorithme aide à accorder un prêt, à trier des candidatures ou à orienter des patients, une réponse automatique peut avoir des conséquences très concrètes. Pourtant, beaucoup de systèmes de classification sont conçus pour choisir entre deux options, par exemple accepter ou refuser. Cette logique binaire est commode pour la machine, mais elle peut mal refléter l’incertitude des données et amplifier des inégalités existantes.

Des chercheurs liés au MIT Computer Science and Artificial Intelligence Laboratory, le CSAIL, avancent une autre voie. Leur cadre ne demande pas seulement à un modèle d’être exact : il lui permet aussi de reconnaître qu’il ne dispose pas d’assez d’éléments pour répondre de manière fiable. Les dossiers concernés sont alors mis de côté pour être analysés, plutôt que traités comme s’ils appelaient obligatoirement un oui ou un non.

Cette approche, présentée par Amar Gupta avec Rashmi Nagpal et Ariba Khan, vise un problème central de l’intelligence artificielle appliquée : comment améliorer l’équité sans faire chuter la qualité prédictive ? Les travaux ont été publiés dans les revues Machine Learning and Knowledge Extraction et AI and Ethics.

Pourquoi la précision ne suffit pas à rendre une IA juste

En apprentissage automatique, la précision mesure généralement la part des prédictions correctes sur un ensemble de données. C’est un indicateur indispensable, mais il ne dit pas tout. Un modèle peut afficher une bonne performance moyenne tout en commettant davantage d’erreurs pour certains groupes de personnes.

Le problème commence souvent avant même l’entraînement. Les données historiques peuvent refléter des décisions humaines passées, des inégalités d’accès à un service ou une représentation insuffisante de certaines populations. Un modèle entraîné sur ces informations apprend des régularités statistiques. Il ne distingue pas spontanément une corrélation utile d’un préjugé social inscrit dans les données.

À l’inverse, appliquer une règle d’équité trop simple peut dégrader les résultats. Imposer au modèle une seule contrainte, sans tenir compte du contexte, risque de produire plus de classifications erronées. Les chercheurs partent donc d’un constat : l’exactitude et l’équité ne doivent pas être traitées comme deux boutons dont l’un ne pourrait monter qu’au détriment de l’autre.

Leur proposition ne prétend pas définir une fois pour toutes ce qui est juste. Elle cherche plutôt à donner au système une manière plus explicite de gérer les situations ambiguës et à mesurer plusieurs dimensions de l’équité au lieu de n’en retenir qu’une seule.

Le principe de la classification avec option de rejet

Le mécanisme au cœur de ces travaux s’appelle Reject Option Classification, ou ROC. Au lieu de forcer le système à placer chaque dossier dans l’une de deux catégories, il crée une troisième possibilité : l’échantillon rejeté.

Concrètement, lorsqu’un modèle est très incertain, il ne rend pas de verdict automatique. Il signale que le cas mérite une vérification, une analyse complémentaire ou une décision prise selon une procédure différente. Cela ne signifie pas que l’algorithme résout à lui seul le dossier : il évite surtout de transformer une incertitude élevée en décision apparemment catégorique.

Dans le cas d’un outil d’évaluation du risque de crédit, cette distinction est importante. Une personne ne devrait pas être refusée simplement parce qu’un système est incapable de la classer avec une confiance suffisante. Le rejet permet de mettre en évidence les zones où les données, les critères retenus ou le comportement du modèle appellent un contrôle.

Cette logique apporte également de la transparence opérationnelle. Elle oblige l’organisation qui déploie l’outil à définir ce qu’elle fera des dossiers rejetés. Seront-ils étudiés par un humain ? Des informations supplémentaires seront-elles demandées ? Les règles de ce second examen seront-elles elles-mêmes contrôlées ? Le cadre algorithmique est donc utile, mais il ne remplace pas une procédure de décision responsable.

Les cas rejetés deviennent des signaux de biais potentiels

Les échantillons écartés ne sont pas des données inutiles. Ils constituent au contraire une source d’information pour les équipes qui conçoivent le modèle. Leur analyse peut révéler qu’une catégorie de personnes est plus souvent placée dans une zone d’incertitude, ou qu’une variable utilisée par le système joue un rôle inattendu.

Les chercheurs soulignent que cette inspection peut aider à identifier les origines possibles d’un biais. Celui-ci peut venir du modèle, mais aussi du jeu de données lui-même, de sa collecte ou des catégories choisies pour décrire les individus. Si les exemples disponibles sont incomplets ou déséquilibrés, le système risque de moins bien fonctionner pour les profils les moins représentés.

La méthode ROC vise ainsi deux usages complémentaires : limiter la probabilité d’une décision injuste sur les cas les plus ambigus, puis utiliser ces cas pour améliorer les versions suivantes du système. Ce second point est essentiel. Une IA équitable ne se réduit pas à un réglage effectué une fois avant le déploiement. Elle suppose de tester les résultats, de chercher les écarts et d’ajuster les données comme les règles de modélisation.

Équité de groupe et équité individuelle, deux tests nécessaires

L’un des apports mis en avant par Amar Gupta consiste à ne pas limiter l’évaluation à l’équité de groupe. Cette dernière consiste, par exemple, à vérifier que les prédictions ne produisent pas d’écarts injustifiés entre les hommes et les femmes. C’est une mesure utile pour détecter une discrimination statistique à grande échelle.

Mais l’équité de groupe ne suffit pas toujours à garantir qu’une personne sera traitée correctement. L'équité individuelle pose une autre question : deux candidats aux qualifications comparables reçoivent-ils des résultats comparables, indépendamment de leurs caractéristiques personnelles ?

L’exemple du prêt hypothécaire permet de voir la différence. Un modèle peut viser des prévisions similaires entre groupes définis par le sexe. Il doit aussi éviter que deux personnes présentant un profil financier semblable soient traitées très différemment pour une raison sans rapport justifié avec leur capacité à rembourser.

Ces deux objectifs peuvent entrer en tension. Mesurer l’équité suppose d’abord de choisir ce que l’on compare, quels groupes sont concernés et quels écarts sont considérés comme acceptables. Il n’existe pas une métrique universelle qui suffirait dans tous les secteurs. C’est pourquoi le cadre cherche à intégrer plusieurs critères, plutôt qu’à optimiser un seul chiffre.

Des performances testées sur des scores de crédit allemands

Les expérimentations rapportées par l’équipe ont comparé le cadre ROC à d’autres systèmes similaires. Sur un ensemble de données de scores de crédit allemands, le dispositif a atteint une précision de plus de 94 %. Les chercheurs indiquent également que les prédictions restaient cohérentes pour des individus aux qualifications similaires.

Ce résultat montre qu’il est possible, dans ce jeu de données et selon les conditions des essais, de conserver une précision élevée tout en intégrant une analyse plus fine de l’équité. Il ne signifie pas qu’un modèle ayant le même score serait automatiquement adapté à tout organisme de crédit ou à toute population. Les performances d’une IA dépendent des données disponibles, de la tâche précise et du contexte dans lequel elle est utilisée.

Le choix de ce type de données illustre néanmoins l’enjeu : les systèmes prédictifs interviennent parfois dans des domaines où une erreur peut affecter l’accès au logement, au financement, à l’emploi ou aux soins. Dans ces contextes, la capacité à dire « je ne sais pas » peut être préférable à une automatisation qui tranche sans nuance.

L’optimum de Pareto pour éviter les faux arbitrages

Un second travail, publié dans AI and Ethics, s’appuie sur le concept économique d'optimum de Pareto. Une situation est dite optimale au sens de Pareto lorsqu’il devient impossible d’améliorer un critère sans en détériorer un autre. Transposé à l’IA, le principe aide à examiner les compromis entre précision et équité.

Le projet a été développé en collaboration étroite avec des partenaires tels qu'Ernst & Young. L’objectif est d’identifier des configurations où l’amélioration d’un aspect, par exemple la précision, ne se fait pas automatiquement au prix d’une baisse sur un autre aspect, comme l’équité.

Les chercheurs ont aussi présenté une extension baptisée Minimax Pareto Fairness, ou MMPF. Cette structure repose sur une fonction de perte multi-objectifs. En apprentissage automatique, une fonction de perte est le mécanisme mathématique qui indique au modèle ce qu’il doit chercher à réduire pendant son entraînement. Ici, elle intègre à la fois des éléments liés à l’équité de groupe et à l’équité individuelle.

Des essais menés sur plusieurs jeux de données open source ont montré une réduction significative du compromis entre exactitude et équité. L’intérêt de cette approche est de ne pas considérer qu’un seul indicateur doit dominer tous les autres. Elle offre plutôt un cadre pour rendre visibles les conséquences de chaque choix de réglage.

Du crédit à la santé, des applications qui exigent un contrôle humain

Selon Amar Gupta, un outil tel que ROC pourrait s’appliquer à tout domaine nécessitant un jugement fondé sur des données, des finances aux soins de santé. Cette ambition est logique : de nombreux systèmes classent déjà des situations selon un niveau de risque, une priorité ou une probabilité.

Toutefois, le niveau de prudence requis varie fortement selon l’usage. Dans le crédit, une mauvaise prédiction peut peser sur un projet immobilier. En santé, elle peut influencer une orientation ou une priorité de prise en charge. Dans les deux cas, le rejet d’un dossier ne doit pas devenir un simple moyen de transférer l’incertitude vers les personnes concernées.

Pour les entreprises, adopter ce type de cadre suppose donc plusieurs étapes concrètes :

• définir la décision que l’algorithme peut réellement soutenir et celles qui doivent rester humaines ;
• vérifier la qualité et la représentativité des données utilisées ;
• mesurer séparément les résultats pour les groupes pertinents et pour des profils comparables ;
• organiser le traitement des cas rejetés, avec des règles compréhensibles et contrôlables ;
• réévaluer régulièrement le système une fois en usage.

Gupta note que de nombreux travaux antérieurs se fondent sur des ensembles de données publics. L’équipe envisage désormais d’explorer des données plus privées afin de renforcer l’applicabilité de l’algorithme dans différents secteurs industriels. Cette étape sera déterminante : les données privées se rapprochent souvent davantage des conditions réelles d’utilisation, mais elles exigent aussi des garanties strictes de confidentialité et de gouvernance.

Ce qu’il faut surveiller pour une IA réellement plus équitable

La perspective tracée par ces travaux est moins celle d’une recette miracle que d’une évolution de méthode. Une IA responsable doit pouvoir reconnaître ses limites, exposer les compromis qu’elle réalise et éviter de présenter une décision statistique comme une vérité incontestable.

Les prochaines recherches annoncées doivent examiner des combinaisons entre méthodes d’entraînement, stratégies de prétraitement des données et techniques de post-traitement des résultats. L’équipe prévoit aussi d’intégrer des poids différenciés dans l’évaluation des compromis entre critères d’équité. Cela pourrait permettre d’adapter plus finement l’optimisation à chaque contexte d’usage.

Le point à surveiller sera la manière dont ces principes se traduiront hors des jeux de données de recherche. Les organisations devront démontrer non seulement qu’un modèle est performant, mais aussi qu’elles ont prévu une réponse juste lorsque le modèle hésite. Dans les décisions qui affectent directement les personnes, ne pas forcer une réponse peut devenir une composante essentielle de la fiabilité.