Fraude aux prestations : l’IA du Royaume-Uni soupçonnée de cibler certains profils

L’intelligence artificielle est souvent présentée comme un moyen d’identifier plus vite les anomalies dans les administrations. Mais lorsqu’un algorithme aide à désigner les personnes qui feront l’objet d’une enquête, ses erreurs ou ses déséquilibres ne sont pas abstraits : ils peuvent entraîner des contrôles, des demandes de justificatifs et une pression supplémentaire sur des ménages déjà fragiles. Au Royaume-Uni, des documents internes mettent en lumière des biais dans un outil utilisé pour repérer des risques de fraude aux prestations.

Le système concerné est employé par le ministère du Travail et des Pensions britannique, le Department for Work and Pensions, ou DWP. Il intervient dans le traitement de dossiers liés à l’allocation universelle, appelée Universal Credit. Son rôle n’est pas, selon le ministère, de trancher directement le versement d’une prestation. Il sert à sélectionner ou à orienter des cas susceptibles de nécessiter une investigation pour fraude.

Or, l’évaluation interne du dispositif, rendue publique à la faveur de demandes fondées sur la loi britannique sur la liberté d’information, fait apparaître une sélection disproportionnée de certains profils. Les critères évoqués sont l’âge, la situation matrimoniale, la nationalité et le handicap. Ces constats posent une question centrale : qu’implique réellement le contrôle humain lorsqu’une machine a déjà contribué à décider qui sera davantage surveillé ?

Ce que les documents internes révèlent

Une étude de machine learning a été conduite afin d’évaluer le fonctionnement de l’outil. Son résultat ne se résume pas à un taux de précision global. Les documents examinés montrent que le système ne répartit pas de manière uniforme ses recommandations d’enquête entre les différentes catégories de population analysées.

Autrement dit, à caractéristiques comparables du point de vue du système, certains groupes peuvent être davantage sélectionnés pour une vérification que d’autres. Dans un dispositif de détection de fraude, ce type d’écart mérite une attention particulière. Être choisi pour une enquête ne signifie évidemment pas être fraudeur. Mais une sélection disproportionnée peut exposer plus fréquemment certaines personnes à des démarches administratives, à des délais et à l’obligation de démontrer que leur situation est régulière.

Les informations disponibles ne précisent pas les chiffres ni les groupes exacts les plus touchés. Ces détails n’ont pas été publiés, notamment parce que leur divulgation pourrait permettre à des fraudeurs de contourner ou de manipuler le système. Cette réserve peut se comprendre du point de vue de la lutte contre la fraude. Elle limite toutefois la possibilité, pour le public et les chercheurs indépendants, d’évaluer l’ampleur des déséquilibres constatés.

Pourquoi un outil de détection de fraude peut-il être biaisé ?

Un système de machine learning repère des régularités dans les informations qui lui sont fournies afin de produire un score, un classement ou une recommandation. Il n’accède pas à une définition morale de l’équité. Il optimise ce qu’on lui demande d’optimiser, à partir de données qui reflètent les pratiques administratives et sociales passées.

Dans le cas de la lutte contre la fraude, plusieurs mécanismes peuvent produire des écarts. Les dossiers ayant fait l’objet de contrôles antérieurs peuvent, par exemple, influencer les données historiques. Or, si certains groupes ont déjà été davantage contrôlés, ils risquent d’être davantage présents dans les informations servant à construire ou à tester le système. L’algorithme peut alors reproduire ce schéma de surveillance, même sans utiliser explicitement une variable comme la nationalité ou le handicap.

Le problème ne se limite pas aux variables directement sensibles. Une combinaison d’éléments administratifs, géographiques, familiaux ou professionnels peut fonctionner comme un indicateur indirect d’une caractéristique protégée. C’est pourquoi une évaluation sérieuse ne consiste pas seulement à demander si un modèle est performant au total. Elle implique de comparer ses effets entre groupes et de vérifier si les personnes ciblées le sont pour des motifs réellement pertinents.

Le cas britannique rappelle aussi une distinction essentielle : la détection de fraude n’est pas une activité neutre. Elle repose sur des choix de priorités. Faire remonter un plus grand nombre de dossiers peut améliorer le repérage de situations irrégulières, mais aussi multiplier les contrôles injustifiés. Inversement, réduire les faux positifs peut conduire à moins détecter certains cas. La question n’est donc pas seulement technique. Elle relève d’un arbitrage public qui devrait être explicité.

Le contrôle humain suffit-il à éviter un traitement injuste ?

Face aux révélations issues de son évaluation interne, le DWP a soutenu que l’outil ne soulevait pas de préoccupation immédiate en matière de discrimination ou de traitement inéquitable. Le ministère insiste également sur un point : les décisions finales concernant les paiements demeurent prises par des agents humains.

Cette garantie est importante, mais elle ne répond pas à toutes les interrogations. Un agent peut théoriquement corriger une recommandation algorithmique. Encore faut-il qu’il dispose des informations nécessaires pour comprendre le signal produit, qu’il ait le temps de le remettre en cause et que la procédure lui donne une véritable marge d’appréciation. Si l’outil détermine en amont qui sera investigué, son effet se fait sentir avant même toute décision finale sur une prestation.

Le contrôle humain ne doit donc pas être envisagé comme un simple tampon apposé à la fin d’un processus automatisé. Dans un système équitable, il devrait constituer une vérification réelle : capacité de contester l’alerte, justification compréhensible du contrôle et suivi des écarts observés après la mise en service de l’outil.

Transparence : un angle mort des algorithmes publics britanniques

Les organisations de défense des droits ont vivement critiqué l’approche des autorités. Elles y voient une logique de « blessure d’abord, réparation après », dans laquelle les effets préjudiciables d’un système ne sont pleinement examinés qu’une fois l’outil déjà utilisé. Elles réclament davantage de transparence sur les méthodes, les contrôles et les populations potentiellement concernées.

Une critique porte sur le périmètre même de l’évaluation. Les documents évoquent des différences liées à l’âge, au handicap, à la nationalité et à la situation matrimoniale. En revanche, aucune analyse n’est signalée concernant d’autres critères, tels que la race, le sexe ou l’orientation sexuelle. L’absence d’évaluation sur un critère ne permet pas de conclure à l’absence de problème. Elle signifie simplement que l’effet du système sur ce point n’a pas été établi dans les éléments disponibles.

Cette difficulté s’inscrit dans un enjeu plus large de gouvernance. Des évaluations indépendantes estiment qu’au moins 55 outils automatisés sont employés par les autorités britanniques, tandis que le gouvernement n’en révèle que neuf. Sans registre exhaustif, il devient difficile de savoir quels systèmes influencent les décisions administratives, à quel stade ils interviennent, quelles données ils utilisent et quels audits ont été menés.

Le Public Law Project, organisation engagée sur l’accès au droit et la responsabilité des pouvoirs publics, recense justement l’usage des systèmes automatisés par l’État. Ce type de travail contribue à rendre visible une infrastructure numérique souvent discrète, alors même qu’elle peut peser sur l’accès à des droits sociaux essentiels.

Des conséquences concrètes pour les personnes vulnérables

L’enjeu ne se réduit pas à une discussion sur la qualité d’un logiciel. Les bénéficiaires de prestations sociales peuvent avoir peu de temps, de ressources ou d’assistance pour répondre à une demande de contrôle. Pour une personne en situation de handicap, un foyer précaire ou une personne confrontée à des démarches administratives complexes, une enquête infondée peut être particulièrement lourde à vivre.

Les biais risquent aussi d’affaiblir l’efficacité recherchée. Si un système concentre ses alertes sur certains profils de manière injustifiée, il augmente les vérifications sans fondement sur ces personnes. Dans le même temps, il peut laisser moins de place à l’examen d’autres dossiers où les indices seraient plus pertinents. L’équité et l’efficacité ne sont donc pas forcément opposées : un outil qui cible mal peut être à la fois injuste et moins performant.

Caroline Selman, chercheuse senior au Public Law Project, critique la manière dont le DWP gère ces processus automatisés. Elle estime que le département n’évalue pas suffisamment les risques de préjudice susceptibles de découler de ces systèmes. Son intervention souligne un principe simple : avant de déployer une technologie sur des personnes qui dépendent d’aides publiques, l’administration doit être capable de démontrer qu’elle a étudié ses effets concrets.

Quels garde-fous pour une IA publique plus juste ?

Le dossier du DWP montre plusieurs exigences qui devraient accompagner tout outil algorithmique utilisé par une administration. La première est l’évaluation régulière des biais, avant le déploiement mais aussi pendant toute la durée d’utilisation du système. Les modèles, les données et les comportements administratifs évoluent : un audit ponctuel ne suffit pas.

La deuxième est la transparence proportionnée. Il n’est pas nécessaire de divulguer les détails qui permettraient de déjouer un dispositif antifraude. En revanche, le public devrait pouvoir connaître l’existence de l’outil, sa finalité, les catégories de données mobilisées, les contrôles mis en place et les résultats globaux des évaluations d’équité.

Enfin, les personnes concernées doivent disposer de garanties effectives. Lorsqu’un processus automatisé contribue à déclencher une enquête, il importe que l’intervention humaine ne soit pas symbolique et que les voies de recours soient compréhensibles. La possibilité de faire corriger une erreur ne remplace pas la prévention de l’erreur, surtout lorsque celle-ci touche de façon répétée les mêmes catégories de population.

Ce qu’il faut surveiller

En décembre 2024, l’affaire ne met pas seulement en cause un outil de détection de fraude. Elle pose la question de la place des systèmes automatisés dans les décisions publiques. Le Royaume-Uni utilise déjà de nombreux outils de ce type, alors que leur inventaire demeure incomplet et que leurs modalités d’évaluation sont peu visibles.

Les prochains enjeux seront donc la publication d’informations plus complètes sur les systèmes employés, l’élargissement des analyses de biais à d’autres critères et la démonstration que le contrôle humain peut réellement infléchir les recommandations des algorithmes. L’IA peut aider les administrations à traiter des volumes importants de dossiers. Mais lorsqu’elle touche aux prestations sociales, elle doit être jugée non seulement sur sa capacité à repérer des anomalies, mais aussi sur sa capacité à ne pas transformer des caractéristiques personnelles en facteurs de surveillance accrue.