IA à enjeux élevés : pourquoi un seul algorithme ne suffit pas à décider

Lorsqu’un algorithme aide à décider si une personne obtient un prêt, passe à l’étape suivante d’un recrutement ou reçoit une bourse, sa réponse peut peser lourd. Or cette réponse n’a rien d’inévitable. Pour un même dossier, plusieurs modèles d’apprentissage automatique peuvent être jugés aussi fiables globalement tout en recommandant des issues différentes. Cette possibilité, appelée multiplicité des modèles, oblige à repenser ce que signifie une décision « équitable » quand l’intelligence artificielle intervient dans des situations à forts enjeux.

Des chercheurs de l’Université de Californie à San Diego et de l’Université du Wisconsin à Madison se sont penchés sur cette question dans un travail intitulé Perceptions of the Fairness Impacts of Multiplicity in Machine Learning. Loris D’Antoni, professeur associé, y travaille notamment avec Aws Albarghouthi, professeur associé à l’Université du Wisconsin, et Yea-Seul Kim, d’Apple. Leur point de départ est simple, mais dérangeant : choisir un modèle plutôt qu’un autre peut modifier le sort d’une personne, même lorsque ces modèles présentent un niveau de fiabilité comparable.

Une même demande, plusieurs réponses possibles

Un modèle d’apprentissage automatique ne « découvre » pas une réponse objective dissimulée dans les données. Il produit une prédiction à partir d’exemples passés, de variables retenues par ses concepteurs et d’un objectif d’optimisation. Un système chargé d’estimer le risque de défaut de paiement, par exemple, apprend des régularités dans des dossiers précédents. Un outil de présélection de candidatures tente, lui, d’identifier des profils ressemblant aux exemples qu’on lui a fournis ou aux critères qui lui sont demandés.

Deux équipes peuvent entraîner des modèles sur un même problème et obtenir des performances moyennes semblables. Pourtant, leurs outils peuvent différer dans leur architecture, les données utilisées, le poids accordé à certaines variables ou encore le seuil fixé pour accepter et refuser un dossier. Ces écarts suffisent à produire des prédictions contradictoires dans certains cas individuels.

C’est précisément le phénomène étudié par les chercheurs : plusieurs modèles peuvent être considérés comme valables au regard de leurs résultats globaux, sans désigner les mêmes personnes comme éligibles. En d’autres termes, une bonne précision moyenne ne garantit pas qu’une décision individuelle soit stable.

Pourquoi les décisions à enjeux élevés exigent-elles une vigilance particulière ?

Dans de nombreux usages numériques, une recommandation erronée est surtout un désagrément : une vidéo mal suggérée ou un produit peu pertinent. Dans un processus de recrutement, d’attribution de prêt, de bourse ou d’accès à une opportunité, l’erreur n’a pas la même portée. Elle peut fermer une porte concrète et renforcer des inégalités déjà présentes.

Le terme « équité » recouvre plusieurs attentes. Une personne peut juger injuste d’être refusée sur la base d’informations incomplètes ou de critères qui ne reflètent pas sa situation. Un groupe peut subir un désavantage systématique si les données historiques reflètent des discriminations passées. Une organisation peut aussi devoir expliquer, contrôler et contester les décisions prises en son nom.

Les outils de machine learning ne créent pas ces problèmes sociaux à partir de rien. Ils risquent cependant de les reproduire, de les rendre moins visibles ou de les accélérer lorsqu’ils sont déployés à grande échelle. C’est pourquoi leur usage dans les domaines sensibles ne peut pas se résumer à une comparaison de pourcentages de précision.

La multiplicité ajoute une question particulière : si deux modèles techniquement défendables aboutissent à des résultats opposés, sur quoi repose exactement la décision finale ? Sur la qualité du modèle retenu ? Sur une convention interne ? Sur la facilité de déploiement ? Ou sur une évaluation plus complète du dossier ? Dans les situations à enjeux élevés, ces choix de conception prennent une dimension éthique et opérationnelle.

Les personnes consultées refusent le choix arbitraire

L’étude rapportée par les chercheurs ne se limite pas aux propriétés mathématiques des modèles. Elle s’intéresse aussi à la manière dont les parties prenantes perçoivent leur équité. Cette démarche est importante : une procédure peut être techniquement sophistiquée sans être jugée légitime par les personnes qui en supportent les conséquences.

Les résultats présentés montrent que les individus consultés s’opposent à la pratique consistant à s’en remettre à un seul modèle lorsque plusieurs modèles affichent des désaccords. Cette réaction met en cause une habitude fréquente du développement informatique : sélectionner un modèle qui atteint un niveau de performance attendu, puis le déployer comme s’il était l’unique réponse raisonnable au problème.

Les participants ne plébiscitent pas davantage la randomisation. En cas de désaccord entre deux systèmes, il serait possible, en théorie, de tirer au sort la réponse qui s’appliquera. Cette solution peut sembler neutre parce qu’elle n’avantage pas explicitement l’un ou l’autre modèle. Mais elle transforme surtout une décision importante en loterie, sans apporter d’explication supplémentaire à la personne concernée.

Le rejet de ces deux options traduit une attente plus exigeante. Les personnes consultées semblent demander que le désaccord soit pris au sérieux, plutôt que dissimulé derrière l’autorité apparente d’un logiciel ou résolu par le hasard. Cela ne signifie pas qu’il faille systématiquement multiplier les algorithmes dans chaque procédure. Cela signifie qu’un désaccord significatif peut être une information utile, qui appelle un examen plutôt qu’une automatisation supplémentaire.

Un désaccord entre modèles est-il forcément un signe de biais ?

Pas nécessairement. Deux prédictions divergentes ne prouvent pas, à elles seules, qu’un modèle discrimine une personne ou un groupe. Elles révèlent avant tout une incertitude du processus de décision : plusieurs manières crédibles de modéliser le problème ne produisent pas le même verdict.

Cette nuance est essentielle. L’équité ne se limite pas à vérifier si un outil donne des réponses identiques. Dans certains cas, traiter tous les dossiers de façon strictement identique peut ignorer des situations pertinentes. Dans d’autres, des différences de traitement peuvent signaler l’emploi de critères injustifiés. Il faut donc interroger à la fois les données, les variables, les résultats pour différents groupes, les règles de décision et les possibilités de recours.

Les chercheurs rappellent ainsi un angle mort possible dans l’évaluation traditionnelle. Un seul modèle peut être testé, validé selon des indicateurs choisis, puis présenté comme fiable. Mais si d’autres modèles comparables donnent une réponse différente pour certains individus, le caractère « juste » de la décision mérite d’être réexaminé.

Comment mieux traiter les désaccords algorithmiques ?

Les auteurs espèrent que leurs résultats pourront orienter la conception des futurs systèmes et les politiques qui les encadrent. Leur première piste consiste à élargir l’étude à des types de modèles variés. L’objectif n’est pas seulement de trouver celui qui affiche le meilleur résultat global, mais de comprendre les conséquences des choix techniques sur les décisions individuelles.

Une autre recommandation mise en avant est l’intégration d’une décision humaine pour résoudre les désaccords, en particulier dans les contextes à forts enjeux. Cette formule ne doit pas être comprise comme un retour automatique à l’intuition d’une personne. Une intervention humaine utile suppose des règles claires, une formation adéquate et la capacité d’examiner les éléments du dossier au-delà d’un simple score.

Un processus plus responsable pourrait notamment prévoir les étapes suivantes :

• évaluer plusieurs modèles plausibles au lieu de n’en conserver qu’un sans documenter les alternatives ;
• repérer les dossiers pour lesquels les prédictions divergent sensiblement ;
• soumettre ces cas à une révision humaine encadrée lorsque les conséquences sont importantes ;
• consigner les raisons de la décision finale afin de pouvoir l’expliquer et, le cas échéant, la contester ;
• contrôler régulièrement les effets produits pour détecter des disparités ou des dérives.

Ces garde-fous ne promettent pas une neutralité parfaite. Ils ont toutefois une vertu décisive : ils rendent visible le fait qu’une prédiction n’est pas toujours une certitude. Dans un domaine aussi sensible que le crédit ou l’emploi, reconnaître cette limite est plus honnête que de présenter une recommandation informatique comme un verdict incontestable.

L’enjeu de la confiance, pour les organisations comme pour les citoyens

Pour une entreprise, une administration ou un organisme financier, s’appuyer sur un modèle unique peut paraître plus simple. Un seul outil est plus facile à intégrer dans une chaîne de traitement, à suivre et à présenter aux équipes. Mais cette simplicité peut masquer des arbitrages importants : quels critères ont été privilégiés, quels cas limites sont rejetés et quelles personnes auraient obtenu un autre résultat avec un modèle comparable ?

La confiance dépend autant de la qualité technique que de la qualité de la procédure. Une personne sera plus susceptible d’accepter une décision défavorable si elle sait comment elle a été prise, si elle peut demander un réexamen et si l’organisation est capable de reconnaître l’incertitude quand elle existe. À l’inverse, un refus opaque, attribué à « l’algorithme », risque d’alimenter un sentiment d’arbitraire.

Cette exigence rejoint un mouvement plus large de responsabilisation des systèmes d’IA. Dans l’Union européenne, le cadre réglementaire sur l’intelligence artificielle place notamment les usages liés au recrutement et à l’évaluation de la solvabilité parmi les applications susceptibles de présenter un risque élevé. Au-delà des obligations formelles, la question est politique : quelles décisions une société accepte-t-elle de déléguer, et sous quelles garanties ?

Ce qu’il faut surveiller dans les décisions automatisées

La recherche de Loris D’Antoni, Aws Albarghouthi, Yea-Seul Kim et leurs collègues invite à déplacer le débat. Il ne suffit pas de demander si un modèle est « bon ». Il faut aussi demander si un autre modèle, tout aussi défendable, aurait traité différemment la même personne.

Les futurs travaux devront préciser dans quels domaines et à partir de quel niveau de désaccord une révision devient nécessaire. Ils devront aussi explorer les moyens de faire intervenir des humains sans reproduire leurs propres préjugés, ni créer une supervision de façade où l’opérateur se contenterait d’entériner la réponse de la machine.

Pour les citoyens, l’enjeu est concret. Lorsqu’un outil automatisé participe à une décision importante, les questions pertinentes ne portent pas seulement sur son efficacité. Il faut aussi pouvoir savoir quelle place il occupe dans la procédure, quelles voies de recours existent et si un désaccord algorithmique a été pris en compte. L’équité ne naît pas d’un modèle présenté comme infaillible. Elle se construit dans la façon de traiter ses limites, ses incertitudes et ses conséquences humaines.