Pays-Bas : une IA anti-fraude aux bourses sanctionnée pour discrimination

Un algorithme peut-il décider quels étudiants méritent d’être contrôlés pour une fraude présumée ? Aux Pays-Bas, cette question a débouché sur une sanction majeure. L’Autoriteit Persoonsgegevens, l’autorité néerlandaise de protection des données, a estimé qu’un dispositif employé dans le contrôle des bourses étudiantes avait conduit à une discrimination illégale envers des étudiants issus de l’immigration.

Le 31 octobre 2024, l’autorité, souvent présentée comme l’équivalent néerlandais de la CNIL française, a annoncé une amende de 50 millions d’euros contre le ministre néerlandais de l’Éducation, de la Culture et de la Science. En cause : l’utilisation, entre 2012 et 2023, d’un algorithme par l’Agence exécutive pour l’éducation, connue sous le nom de DUO, afin de sélectionner les personnes à contrôler en priorité.

Cette affaire dépasse le seul cadre des aides étudiantes. Elle illustre très concrètement un risque des outils algorithmiques dans les services publics : même lorsqu’ils ne retirent pas automatiquement une aide et ne prononcent pas eux-mêmes une sanction, ils peuvent orienter l’attention des agents vers certains groupes, avec des conséquences lourdes pour les personnes visées.

Ce que contrôlait l’algorithme des bourses étudiantes

Le système était associé au contrôle de la « bourse de non-résident », une aide versée aux étudiants qui ne vivent plus chez leurs parents. Les autorités cherchaient à vérifier que les bénéficiaires remplissaient réellement cette condition. Une fausse déclaration d’adresse pouvait donc être considérée comme une fraude.

Pour organiser les contrôles, DUO ne vérifiait pas tous les dossiers de façon identique. L’agence s’appuyait sur un algorithme chargé de déterminer quels étudiants devaient être inspectés en premier. Sur le papier, la logique paraît simple : utiliser les moyens de contrôle là où le risque est supposé être le plus élevé.

Mais un tel système ne se contente pas de traiter des données de manière neutre. Il traduit des choix : quelles informations prendre en compte, quels profils considérer comme plus risqués, quel niveau de preuve exiger avant de déclencher un contrôle. C’est précisément sur ces choix que l’Autoriteit Persoonsgegevens a enquêté, à la suite notamment d’informations révélées par la presse.

Il est important de distinguer deux étapes. L’algorithme ne retirait pas, à lui seul, une bourse et ne décidait pas automatiquement de la culpabilité d’un étudiant. En revanche, il contribuait à désigner les personnes qui allaient devoir se justifier ou faire l’objet d’une enquête. Or être davantage contrôlé que d’autres n’est pas une conséquence anodine : cela expose à des démarches supplémentaires, à un soupçon administratif et, le cas échéant, à des décisions défavorables.

Pourquoi l’autorité néerlandaise parle de discrimination

L’enquête a conclu que l’algorithme avait entraîné une discrimination indirecte à l’encontre d’étudiants issus de l’immigration. Autrement dit, la règle de sélection ne se présentait pas nécessairement comme fondée sur l’origine des personnes, mais ses effets conduisaient à les soumettre plus souvent aux contrôles.

Le problème ne réside pas dans le seul recours à une technologie. Les administrations ont le droit de lutter contre la fraude et de cibler leurs vérifications lorsqu’elles disposent d’éléments objectifs. En revanche, elles doivent pouvoir démontrer que les différences de traitement reposent sur une justification légitime, pertinente et proportionnée.

Dans cette affaire, les indicateurs utilisés pour repérer un risque de fraude n’étaient pas suffisamment étayés par des données scientifiques. L’Autoriteit Persoonsgegevens a donc considéré que la distinction opérée entre des groupes d’étudiants ne pouvait pas être justifiée. Aleid Wolfsen, président de l’autorité, a souligné qu’une organisation qui utilise un algorithme doit pouvoir expliquer clairement pourquoi celui-ci traite certains groupes différemment.

Cette exigence est essentielle. Un modèle peut sembler efficace à partir de données historiques, alors que ces données reflètent déjà des contrôles inégalement répartis. Si un groupe a davantage été inspecté dans le passé, il peut mécaniquement produire davantage de cas détectés. Un algorithme entraîné ou réglé à partir de cette histoire risque alors de conclure, à tort, que ce même groupe représente un risque supérieur. C’est un cercle de rétroaction : davantage de contrôles produisent davantage de détections, qui semblent ensuite légitimer davantage de contrôles.

Le RGPD interdit-il les algorithmes de lutte contre la fraude ?

Non. Le Règlement général sur la protection des données, ou RGPD, n’interdit pas par principe les outils automatisés employés pour prévenir la fraude. Il impose toutefois des obligations aux organisations qui traitent des données personnelles, qu’il s’agisse d’une entreprise, d’une université ou d’une administration.

Dans un contexte de contrôle public, plusieurs principes sont particulièrement importants :

• le traitement doit avoir une base légale et une finalité clairement définie ;
• les données doivent être pertinentes au regard de cette finalité ;
• les personnes ne doivent pas subir de traitement injuste ou discriminatoire ;
• l’organisme responsable doit être capable de démontrer qu’il respecte ces exigences.

Ce dernier point, souvent appelé principe de responsabilité, est décisif. Il ne suffit pas pour une administration d’affirmer que son logiciel aide à détecter les fraudes. Elle doit pouvoir documenter ses critères, tester les effets du dispositif, corriger les biais détectés et prévoir des voies de recours compréhensibles pour les personnes concernées.

Dans le cas néerlandais, le responsable juridique du traitement n’est pas seulement l’agence DUO, qui exécutait les contrôles. L’Autoriteit Persoonsgegevens désigne le ministre de l’Éducation, de la Culture et de la Science comme responsable du traitement des données. Le ministre a reconnu les violations et présenté ses excuses.

Une IA au sens large, mais un enjeu très concret

Le mot « intelligence artificielle » recouvre des réalités différentes. Certains systèmes sont des modèles d’apprentissage automatique capables de repérer des corrélations complexes. D’autres ressemblent davantage à des outils de notation ou à des ensembles de règles qui classent les dossiers selon des indicateurs prédéfinis. Dans les deux cas, le danger est identique si le mécanisme repose sur des hypothèses injustifiées ou impossibles à contrôler.

La question pertinente n’est donc pas seulement : « L’administration utilise-t-elle de l’IA ? » Elle est aussi : « Que fait précisément le système, sur quelles données, avec quels critères et quelles conséquences pour les citoyens ? »

Dans le dossier des bourses, l’outil servait à établir une priorité de contrôle. Cette fonction peut paraître moins grave qu’une décision entièrement automatisée. Pourtant, elle agit sur la distribution du pouvoir administratif : certaines personnes auront plus de chances d’être contactées, de devoir fournir des preuves et de voir leur dossier réexaminé. Lorsque ce tri touche davantage les personnes d’une même origine, il porte atteinte au principe d’égalité de traitement.

Ce que les administrations doivent vérifier avant de déployer un tel outil

L’affaire néerlandaise fournit une grille de lecture utile pour tout organisme public envisageant de recourir à l’analyse algorithmique. L’objectif n’est pas de renoncer à toute forme d’automatisation, mais d’éviter qu’un gain d’efficacité supposé ne soit obtenu au prix des droits fondamentaux.

D’abord, l’organisme doit définir avec précision ce que le système cherche à faire. Prévenir une fraude n’autorise pas à collecter ou à croiser n’importe quelles données. Il faut aussi vérifier que chaque variable est réellement utile à la détection du risque, et non simplement corrélée à une situation sociale, géographique ou familiale.

Ensuite, les résultats doivent être testés avant et pendant l’utilisation. Une administration doit comparer la part des personnes contrôlées dans différents groupes, examiner les erreurs produites et s’interroger sur les écarts inexpliqués. Un taux de fraude détecté ne suffit pas à prouver qu’un ciblage est juste : il faut aussi mesurer qui supporte l’essentiel des contrôles et pourquoi.

Enfin, une supervision humaine réelle est nécessaire. Elle ne se réduit pas à la présence formelle d’un agent qui valide une suggestion informatique. Les agents doivent pouvoir comprendre les limites du système, s’écarter de son résultat et expliquer les décisions prises. Les citoyens, eux, doivent disposer d’informations et de recours adaptés lorsqu’un traitement de données affecte leur situation.

Un signal pour l’Europe à l’heure de l’AI Act

La décision intervient alors que le règlement européen sur l’intelligence artificielle, l’AI Act, est entré en vigueur le 1er août 2024. Ce texte prévoit des obligations renforcées pour les systèmes considérés à haut risque, notamment dans des domaines susceptibles d’avoir un effet important sur les droits et les parcours des personnes.

L’AI Act ne remplace pas le RGPD. Les deux textes se complètent : le premier encadre certains usages et obligations propres aux systèmes d’IA, tandis que le second protège les données personnelles et les droits des individus. Dans une situation comme celle des bourses étudiantes, une administration doit donc envisager à la fois les règles relatives aux données, la non-discrimination, la transparence et la gouvernance technique de l’outil.

Les obligations de l’AI Act ne s’appliquent pas toutes immédiatement en novembre 2024, car son déploiement est progressif. Mais son existence renforce déjà un message clair : les outils qui influencent les décisions publiques ne peuvent plus être conçus comme de simples logiciels techniques. Ils doivent faire l’objet d’une évaluation des risques, d’une documentation et d’un suivi rigoureux.

Ce qu’il faut surveiller

La sanction néerlandaise pose une question qui concerne l’ensemble des services publics européens : comment utiliser les données pour mieux cibler les contrôles sans transformer les citoyens en profils à risque ? Les administrations sont attirées par la promesse d’économiser du temps et de l’argent, en concentrant leurs efforts sur les dossiers les plus suspects. Cette ambition est légitime, à condition que le soupçon ne soit pas construit sur des biais sociaux ou migratoires.

Il faudra surveiller les suites données par le gouvernement néerlandais à cette décision, notamment la révision de ses procédures de traitement des données. Plus largement, les autorités de protection des données seront amenées à examiner d’autres systèmes de sélection algorithmique dans l’emploi, l’aide sociale, le logement, la sécurité ou l’éducation.

Pour les citoyens, l’affaire rappelle enfin un principe simple : une décision ou un contrôle influencé par un algorithme n’est pas neutre parce qu’il est automatisé. Plus un outil intervient dans l’exercice d’un droit ou dans la relation avec l’administration, plus il doit être explicable, contestable et équitable.