Algorithmes publics : la Défenseure des droits réclame des garde-fous effectifs

Un algorithme peut accélérer l’examen d’un dossier, repérer une erreur ou répartir des places disponibles. Dans l’administration, cette promesse d’efficacité concerne des décisions qui touchent directement à la vie quotidienne : versement d’une prestation, calcul d’un impôt, retraite, inscription scolaire ou orientation. Mais lorsqu’un outil informatique influence l’accès à un droit ou à un service essentiel, une question s’impose : qui répond de la décision, et comment la contester ?

C’est le sens de l’alerte formulée par la Défenseure des droits. L’institution insiste sur la nécessité de surveiller rigoureusement les algorithmes utilisés par les administrations publiques. Son point n’est pas de rejeter l’informatique dans les services publics, mais de rappeler une exigence simple : la modernisation ne doit pas affaiblir l’égalité devant le service public, le droit à l’explication ou la possibilité d’obtenir réparation en cas d’erreur.

De quels algorithmes parle-t-on dans les services publics ?

Le mot « algorithme » désigne une suite d’instructions permettant à un système de traiter des données selon des règles données. Il ne faut pas le réduire aux outils récents d’intelligence artificielle générative, capables de rédiger un texte ou de répondre à une question. Dans l’administration, il peut s’agir d’un système de calcul classique, d’un outil de classement, d’un dispositif de détection d’anomalies ou, plus rarement, d’un modèle apprenant à partir de données passées.

Ces outils peuvent intervenir à plusieurs étapes. Ils peuvent aider à trier les dossiers, établir une priorité, signaler un dossier à vérifier, proposer une réponse ou contribuer à une décision individuelle. Leur niveau d’influence varie donc considérablement. Un logiciel qui calcule automatiquement une somme à partir de règles légales n’appelle pas les mêmes précautions qu’un système qui classe des personnes ou attribue une ressource rare.

Le problème ne naît donc pas du seul fait qu’une tâche soit automatisée. Il apparaît lorsque les règles retenues sont opaques, lorsque les données sont inexactes ou incomplètes, lorsque le système reproduit des inégalités existantes, ou encore quand personne ne semble en mesure de revoir sérieusement le résultat.

Pourquoi l’automatisation peut-elle affecter l’égalité de traitement ?

L’administration est tenue d’assurer l’égalité devant le service public. Or un programme applique les informations qu’on lui fournit et les règles qu’on lui donne. Si les données utilisées ne décrivent qu’imparfaitement une situation, si une catégorie de personnes est moins bien renseignée dans les bases de données, ou si un critère apparemment neutre produit un effet défavorable pour certains groupes, le résultat peut devenir injuste.

Le risque ne se limite pas à une discrimination volontaire, qui serait évidemment illégale. Il peut prendre la forme d’un effet indirect : une règle identique pour tous pénalise davantage des personnes en raison de leur âge, de leur lieu de résidence, de leur situation familiale, de leur handicap ou de leur maîtrise du numérique. Plus la décision concerne un droit fondamental ou une ressource limitée, plus les conséquences d’un mauvais paramétrage sont importantes.

La Défenseure des droits met également en garde contre la déresponsabilisation. Une réponse présentée comme le produit d’un système peut donner l’impression qu’elle ne peut plus être discutée. Pourtant, une décision administrative ne devrait jamais se soustraire à l’examen au motif qu’un logiciel l’a produite ou recommandée.

L’exemple d’une jeune retraitée confrontée à des difficultés avec sa caisse de retraite l’illustre. Après avoir déposé un commentaire sur le site des services publics, elle a reçu une réponse automatisée générée par une intelligence artificielle. Un tel échange peut être utile pour orienter rapidement un usager. Il devient problématique s’il remplace l’écoute d’une situation concrète ou s’il empêche d’identifier un interlocuteur compétent.

Affelnet, un exemple des limites d’un traitement impersonnel

L’affectation des élèves au lycée est l’un des domaines dans lesquels les choix de paramétrage ont des effets très concrets. Le système Affelnet attribue des places dans les lycées publics à partir de critères prédéterminés. Il est notamment associé aux politiques d’affectation scolaire et, à Paris, à l’objectif de favoriser davantage de mixité sociale et scolaire.

Cet exemple rappelle qu’un outil de répartition ne se résume jamais à une opération purement technique. Les critères choisis traduisent des priorités publiques : proximité géographique, résultats scolaires, capacité d’accueil, parcours particulier ou objectifs de mixité. Ils doivent donc pouvoir être compris, discutés et, si nécessaire, corrigés.

Le rapport évoqué par la Défenseure des droits souligne aussi le risque d’erreurs de traitement de dossiers qui ne seraient pas rectifiées. Pour une famille, une erreur de donnée ou de prise en compte peut avoir des conséquences immédiates sur la scolarité d’un enfant. La possibilité de signaler une anomalie et d’obtenir un réexamen individuel est alors aussi importante que la performance technique du système.

Transparence : ce que l’administration doit pouvoir expliquer

La transparence ne signifie pas que chaque citoyen doit apprendre à programmer ou lire des milliers de lignes de code. Elle suppose plutôt que l’administration puisse répondre de manière intelligible aux questions essentielles : une décision a-t-elle été prise à l’aide d’un traitement algorithmique ? Quelles données et quels critères principaux ont compté ? Quel service est responsable ? Comment demander une vérification humaine ou former un recours ?

Le cadre français prévoit des garanties lorsque l’administration prend une décision individuelle sur le fondement d’un traitement algorithmique. L’usager doit notamment pouvoir être informé de l’utilisation de ce traitement et obtenir des éléments sur ses règles de fonctionnement et ses principales caractéristiques. Le droit d’accès aux documents administratifs peut aussi concerner les règles et, selon les cas, le code source, sous réserve des exceptions prévues par la loi, notamment pour protéger des secrets légalement protégés.

Le règlement général sur la protection des données, ou RGPD, ajoute des obligations lorsque les traitements reposent sur des données personnelles. Il encadre en particulier certaines décisions fondées exclusivement sur un traitement automatisé lorsqu’elles produisent des effets juridiques ou affectent significativement une personne. Les administrations ne peuvent donc pas considérer un algorithme comme une boîte noire hors du champ du droit.

Le contrôle humain doit être réel, pas symbolique

L’intervention humaine est souvent présentée comme la réponse aux risques de l’automatisation. Encore faut-il qu’elle soit effective. Un agent qui se contente de valider en quelques secondes une recommandation qu’il ne peut ni comprendre ni modifier ne constitue pas un contrôle suffisant.

Un véritable réexamen humain implique plusieurs conditions : des agents formés, le temps d’étudier les éléments particuliers d’un dossier, l’accès aux informations ayant conduit au résultat et le pouvoir de s’en écarter lorsque la situation le justifie. Il faut aussi que les usagers puissent atteindre cet interlocuteur sans se heurter à une succession de formulaires ou de réponses automatiques.

Cette exigence est particulièrement importante pour les personnes les plus exposées aux difficultés administratives. Une personne âgée, en situation de handicap, précaire, peu à l’aise avec les outils numériques ou dont la situation sort des cas habituels risque davantage de rester bloquée face à une réponse standardisée. L’automatisation ne doit pas devenir une nouvelle barrière d’accès aux droits.

Des audits pour détecter les erreurs et les biais

La Défenseure des droits préconise la mise en place d’audits réguliers. Un audit ne sert pas seulement à vérifier que le programme fonctionne sans panne. Il doit examiner ses effets réels : erreurs répétées, différences de traitement entre catégories d’usagers, taux de contestation, difficultés d’accès au recours, qualité des données et respect des objectifs initiaux.

Cette évaluation doit être menée avant le déploiement, puis pendant l’utilisation de l’outil. Un système peut en effet produire des effets inattendus une fois confronté à des milliers de dossiers réels. Les données changent, les règles administratives évoluent et les comportements des usagers s’adaptent. Un contrôle unique au moment de la conception serait insuffisant.

La publication d’informations utiles sur ces dispositifs contribuerait à la confiance. Elle permettrait aux chercheurs, aux associations, aux représentants des usagers et aux citoyens de mieux comprendre les choix effectués. La participation citoyenne, également mise en avant, ne consiste pas à confier la conception technique à chacun. Elle vise à faire entrer dans l’évaluation l’expérience de ceux qui subissent concrètement les conséquences d’une décision.

L’Europe renforce progressivement son cadre sur l’intelligence artificielle

En novembre 2024, le contexte européen évolue avec l’entrée en vigueur, le 1er août 2024, du règlement européen sur l’intelligence artificielle, souvent appelé AI Act. Son application est progressive. Il établit une approche fondée sur le niveau de risque et prévoit des exigences renforcées pour certains usages considérés comme à haut risque.

Les systèmes employés dans l’éducation, l’emploi ou l’accès à certains services essentiels figurent parmi les domaines qui appellent une vigilance particulière. Le texte européen ne remplace pas les obligations françaises déjà applicables aux administrations, ni le RGPD. Il ajoute un cadre de gouvernance appelé à structurer davantage la conception, la documentation, l’évaluation et la surveillance de certaines IA.

L’enjeu pratique reste toutefois le même : les règles ne protègent les citoyens que si elles sont appliquées par des administrations capables de cartographier leurs algorithmes, d’évaluer leurs effets et de corriger rapidement leurs dysfonctionnements.

Ce qu’il faut surveiller dans les services publics numérisés

La numérisation de l’administration peut apporter des gains réels : délais plus courts, meilleure gestion de volumes importants, réponses plus cohérentes et libération de temps pour les situations complexes. Ces bénéfices ne justifient pas une confiance aveugle dans les systèmes automatisés.

Les prochaines années devront permettre de vérifier plusieurs points concrets : la clarté de l’information fournie aux usagers, l’existence d’interlocuteurs humains joignables, la qualité des recours, la réalisation d’audits indépendants et la correction documentée des erreurs. Il faudra aussi distinguer soigneusement les outils qui assistent les agents de ceux qui déterminent réellement l’issue d’un dossier.

L’objectif défendu par la Défenseure des droits est celui d’une régulation proactive. Il ne s’agit pas d’attendre qu’un dispositif produise des injustices pour intervenir, mais de concevoir dès le départ des outils contrôlables, explicables et contestables. Dans un État de droit, la technologie peut soutenir la décision publique. Elle ne peut pas en devenir l’unique responsable.