Allocations familiales : le score de risque de la CAF contesté pour discrimination

Un algorithme peut-il décider qui mérite d’être davantage contrôlé par l’administration sociale ? En France, la question se pose avec acuité autour de l’outil de notation des risques utilisé par la Caisse nationale des allocations familiales, la CNAF. Depuis 2010, ce système attribue un score aux allocataires afin d’orienter l’intensité des contrôles. Le principe affiché est la lutte contre la fraude. Ses détracteurs y voient toutefois un mécanisme susceptible de concentrer la surveillance sur les personnes déjà les plus fragiles.

Le 15 octobre 2024, Amnesty International et une coalition de 14 organisations ont saisi le Conseil d’État pour réclamer l’arrêt immédiat de cet algorithme. Au centre de leur contestation : le risque qu’un outil construit à partir de données socio-économiques transforme des situations de précarité en signaux de suspicion.

Ce que fait le score de risque de la CNAF

Le fonctionnement général est celui d’un système de tri. L’administration dispose de nombreuses informations nécessaires au calcul et au versement des prestations : revenus, situation professionnelle, composition du foyer et éléments liés aux démarches effectuées. Un algorithme croise certains de ces éléments pour attribuer un score de risque à chaque allocataire.

Ce score sert à déterminer le niveau de contrôle qui pourra être appliqué. Il ne faut donc pas le confondre avec une preuve de fraude. Un résultat élevé ne signifie pas qu’une personne a commis une irrégularité. Il indique qu’elle est davantage susceptible, selon le modèle, de faire l’objet d’un examen approfondi.

Cette distinction est essentielle. Dans un système de protection sociale, un contrôle peut avoir des conséquences très concrètes : demandes de justificatifs, délais supplémentaires, échanges répétés avec l’administration ou suspension d’un dossier dans l’attente de vérifications. Même lorsqu’aucune fraude n’est finalement établie, le ciblage peut alourdir l’accès à une aide indispensable.

Pourquoi les critères socio-économiques inquiètent-ils ?

La difficulté ne tient pas uniquement à l’existence d’un calcul automatisé. Elle réside dans les variables sur lesquelles ce calcul s’appuie, et dans la façon dont elles sont combinées. Le niveau de revenu, l’emploi ou la structure familiale ne sont pas de simples données administratives neutres : ils sont étroitement liés aux inégalités sociales.

Une famille monoparentale, une personne au chômage ou un foyer aux revenus faibles peuvent connaître davantage de changements de situation, de démarches et de difficultés administratives. Ces réalités peuvent produire des dossiers plus complexes. Si un modèle statistique interprète cette complexité comme un risque, il risque de sélectionner plus fréquemment les mêmes catégories de population.

C’est ce que dénoncent les associations mobilisées. Selon elles, le dispositif contribue à traiter les personnes précaires comme des fraudeurs potentiels. La logique est préoccupante : au lieu de corriger les inégalités qui rendent certaines démarches plus difficiles, le système peut les convertir en motifs de contrôle renforcé.

Le lieu de résidence illustre également la sensibilité de ces mécanismes. Lorsqu’un critère territorial est directement ou indirectement associé à des situations de précarité, il peut conduire à davantage de contrôles dans les quartiers défavorisés. Or une corrélation statistique ne dit rien, à elle seule, de l’honnêteté d’une personne donnée. Elle décrit au mieux une tendance dans des données passées, qui peuvent elles-mêmes refléter les pratiques de contrôle antérieures.

Quand un algorithme reproduit les biais du passé

Un algorithme ne formule pas une intention discriminatoire. Il apprend ou applique des règles à partir de données et d’objectifs définis par des humains. Cela ne le rend pas impartial par nature. Si les données historiques contiennent déjà des déséquilibres, le calcul peut les reproduire, voire les amplifier.

Dans le cas d’un outil de détection de fraude, un cercle peut se former. Une population davantage contrôlée dans le passé produira mécaniquement davantage de dossiers où des erreurs ou irrégularités sont détectées, simplement parce qu’elle a été davantage examinée. Le modèle peut ensuite apprendre que cette population présente un risque plus élevé et la cibler encore davantage.

Ce phénomène est parfois appelé une boucle de rétroaction. Il ne suppose pas qu’un programme identifie explicitement une catégorie sociale pour produire des effets inéquitables. Des variables apparemment ordinaires peuvent agir comme des indicateurs indirects de la pauvreté, de la situation familiale ou du territoire de résidence.

Les révélations intervenues en 2023 sur les corrélations entre le score de risque et des facteurs discriminants ont ainsi renforcé les interrogations. Pour les organisations qui contestent l’outil, il ne suffit pas de dire que l’algorithme cherche la fraude. Encore faut-il démontrer que ses critères, ses résultats et ses effets sont compatibles avec le principe d’égalité devant le service public.

La transparence, condition d’un contrôle contestable

Pour une personne concernée, la première difficulté est souvent de comprendre pourquoi elle a été sélectionnée. Si les critères détaillés, leur poids ou les mécanismes de calcul restent opaques, il devient très difficile de repérer une erreur, d’identifier une discrimination indirecte et de faire valoir ses droits.

Cette opacité concerne aussi le débat démocratique. La lutte contre la fraude est une mission légitime des organismes sociaux : les sommes versées doivent correspondre aux droits réels, et les erreurs doivent pouvoir être corrigées. Mais l’efficacité d’un outil ne peut pas se mesurer uniquement au nombre de contrôles déclenchés ou de dossiers régularisés. Il faut aussi évaluer qui est contrôlé, à quelle fréquence, avec quels résultats et à quel coût humain.

Une évaluation sérieuse devrait notamment permettre de vérifier plusieurs points :

• si les groupes aux profils comparables sont traités de façon équitable ;
• si les contrôles ciblés par l’algorithme aboutissent réellement à davantage d’irrégularités établies ;
• si les personnes disposent d’une explication compréhensible et d’un recours effectif ;
• si le système n’encourage pas un contrôle disproportionné des foyers les plus vulnérables.

La transparence ne signifie pas nécessairement rendre public chaque détail technique au risque de faciliter les contournements. Elle suppose au minimum qu’une autorité indépendante, les juridictions et les personnes affectées puissent vérifier les principes du dispositif et contester ses effets lorsqu’ils paraissent injustifiés.

Que demande la saisine du Conseil d’État ?

La démarche engagée le 15 octobre 2024 par Amnesty International et les 14 organisations vise à faire cesser l’utilisation de l’algorithme de notation des risques de la CNAF. Cette saisine place le débat sur le terrain des droits fondamentaux, au-delà de la seule performance technique.

Les requérants mettent en cause un système qui, selon eux, expose certains allocataires à une surveillance accrue sur la base de caractéristiques sociales. Leur demande s’inscrit dans un mouvement plus large de vigilance face à l’automatisation des décisions et des priorités administratives. Le sujet ne concerne pas seulement la CAF : de plus en plus de services publics utilisent des outils de traitement de données pour classer des dossiers, prévoir des risques ou répartir leurs moyens de contrôle.

À la date du 2 novembre 2024, la contestation devant le Conseil d’État ne préjuge pas de l’issue de la procédure. Elle oblige en revanche à poser une question simple : quelles garanties doivent entourer un algorithme lorsque sa sélection peut modifier concrètement la relation entre un citoyen et un organisme chargé de lui verser une aide sociale ?

Le cadre européen change la façon de regarder ces outils

Le droit européen des données personnelles encadre déjà certains usages automatisés. Le règlement général sur la protection des données, ou RGPD, prévoit des garanties lorsque des décisions reposent exclusivement sur un traitement automatisé et produisent des effets juridiques ou des effets significatifs pour les personnes. Dans les faits, l’application de ces garanties dépend de la place exacte occupée par l’algorithme dans la décision administrative : simple outil d’aide, système de priorisation des contrôles ou mécanisme déterminant directement une décision.

L’Union européenne a aussi adopté le règlement sur l’intelligence artificielle, dit AI Act, entré en vigueur en août 2024. Les systèmes destinés à évaluer l’éligibilité à certaines aides et services publics essentiels font partie des usages considérés à haut risque par ce texte. Les obligations correspondantes ne s’appliquent pas toutes immédiatement, mais la direction est claire : documentation, gestion des risques, qualité des données, traçabilité et supervision humaine deviennent des exigences centrales.

Pour les administrations françaises, le défi ne consiste donc pas uniquement à disposer d’outils efficaces. Il est aussi de pouvoir rendre compte de leur fonctionnement. La numérisation ne doit pas créer une zone grise dans laquelle une personne serait suspectée sans pouvoir savoir pourquoi.

Ce qu’il faut surveiller

La procédure devant le Conseil d’État sera un test important pour l’encadrement des algorithmes dans les politiques sociales. Elle pourrait préciser le niveau de transparence attendu d’un organisme public et les conditions dans lesquelles un score de risque peut être utilisé pour organiser des contrôles.

Au-delà de ce contentieux, plusieurs questions resteront décisives. Les données utilisées sont-elles régulièrement réévaluées ? Les effets du système sur les familles monoparentales, les personnes sans emploi et les foyers précaires sont-ils mesurés ? Un agent humain examine-t-il réellement les situations avant qu’une mesure défavorable soit prise ? Et surtout, les allocataires ont-ils les moyens de comprendre et de contester ce qui les concerne ?

L’enjeu est de préserver une règle de base du service public : les personnes qui ont le plus besoin d’une aide ne devraient pas être exposées à une suspicion accrue du seul fait de leur situation sociale. L’algorithme peut aider à organiser un contrôle, mais il ne peut pas remplacer l’exigence d’équité, d’explication et de respect des droits.