IA publique : la Défenseure des droits réclame des décisions enfin explicables

Lorsqu’une demande d’aide, une démarche fiscale ou un dossier administratif est orienté, classé ou évalué par un système informatique, l’enjeu ne se limite pas à la performance technique. La décision peut affecter concrètement l’accès d’une personne à un droit. C’est pourquoi la Défenseure des droits, Claire Hédon, appelle à une transparence accrue de l’intelligence artificielle et des algorithmes utilisés dans les services publics.

Dans un rapport récent consacré aux décisions administratives entièrement automatisées, l’institution alerte sur les conséquences de l’algorithmisation croissante des administrations. Son message est simple : une administration ne peut pas opposer à un usager une décision qu’il ne peut ni comprendre, ni vérifier, ni contester effectivement. À mesure que les outils d’IA s’intègrent aux procédures publiques, la protection contre les erreurs et les discriminations devient une condition essentielle de la confiance démocratique.

Un algorithme administratif peut influencer l’accès aux droits

Un algorithme est une suite d’instructions permettant à un système informatique de traiter des informations selon des règles définies. Dans l’administration, il peut servir à automatiser des tâches répétitives, vérifier la cohérence d’un dossier, classer des demandes ou aider un agent à les examiner. L’intelligence artificielle ajoute, selon les systèmes, des méthodes capables d’identifier des régularités dans de grandes quantités de données ou de produire des recommandations.

Ces usages ne signifient pas nécessairement qu’une machine « décide seule » à chaque étape. Mais la frontière a son importance. Si un agent public utilise un outil comme élément parmi d’autres, il doit conserver la capacité de l’évaluer et de s’en écarter. Si, au contraire, le résultat automatisé détermine directement l’issue d’un dossier, les garanties offertes à la personne concernée doivent être particulièrement solides.

La Défenseure des droits met précisément en garde contre la possibilité de décisions administratives prises de façon entièrement automatisée. Les services publics exercent des missions qui touchent à des droits fondamentaux : égalité devant le service public, accès aux prestations, protection de la vie privée, droit à un recours effectif. Une erreur informatique, une règle mal paramétrée ou une donnée inexacte ne doit donc pas se transformer en obstacle insurmontable pour l’usager.

Pourquoi l’opacité peut-elle conduire à des discriminations ?

Un système automatisé n’est pas neutre par nature. Il applique des règles, des critères et, dans certains cas, des modèles construits à partir de données. Chacun de ces éléments peut introduire ou prolonger des inégalités existantes.

Le risque ne réside pas uniquement dans une variable explicitement sensible, comme le sexe ou l’origine, qui ne devrait pas servir à défavoriser une personne. Des informations apparemment banales peuvent parfois jouer le rôle d’indicateurs indirects. Une procédure peut aussi produire des effets inéquitables si elle repose sur des données historiques reflétant déjà des écarts de traitement, ou si son objectif privilégie excessivement la détection d’anomalies au détriment de l’accès effectif aux droits.

L’automatisation peut également amplifier un problème à grande échelle. Une appréciation erronée faite manuellement peut concerner un dossier. Une règle erronée intégrée à un système peut affecter un nombre bien plus important d’usagers avant d’être repérée. Sans transparence, il devient difficile pour les personnes concernées, les associations, les agents et les autorités de contrôle d’identifier un traitement défavorable.

La vigilance demandée par Claire Hédon porte donc sur la non-discrimination, mais aussi sur la responsabilité. Une administration demeure responsable de ses décisions, y compris lorsqu’elle recourt à un prestataire technique ou à un outil complexe. La technologie ne peut devenir un écran entre le citoyen et l’institution qui lui répond.

Le droit à l’explication, une garantie concrète pour les usagers

La principale demande mise en avant par la Défenseure des droits est l’instauration d’un « droit à l’explication » pour les décisions prises par un algorithme. Ce principe répond à une situation fréquente : recevoir une réponse négative ou défavorable sans connaître les éléments qui l’ont déterminée, ni les moyens de la faire vérifier.

Une explication utile doit être adaptée à la personne concernée. Elle ne peut pas se réduire à une formule générale du type « votre dossier a été traité automatiquement ». L’usager doit pouvoir comprendre, dans un langage clair, la nature du traitement réalisé et les motifs pertinents de la décision.

Cette exigence de clarté est aussi un outil d’amélioration des services publics. Un système dont le fonctionnement ne peut être expliqué aux personnes concernées est plus difficile à auditer, à corriger et à légitimer. À l’inverse, documenter les règles, les données mobilisées et les limites d’un outil aide les administrations à détecter les dysfonctionnements avant qu’ils ne portent atteinte aux droits.

Des règles existent déjà en France et dans l’Union européenne

L’appel de la Défenseure des droits intervient dans un cadre juridique qui impose déjà plusieurs obligations. Leur articulation reste toutefois complexe pour le grand public, alors même qu’elles concernent directement les démarches administratives.

En France, le code des relations entre le public et l’administration prévoit des obligations de transparence pour les décisions administratives individuelles prises sur le fondement d’un traitement algorithmique. La personne concernée doit notamment être informée de l’existence de ce traitement. Elle peut demander des informations sur les règles qui le définissent et sur ses principales caractéristiques, notamment sa finalité, les données utilisées et les paramètres de traitement.

Au niveau européen, le règlement général sur la protection des données, le RGPD, prévoit un droit pour une personne à ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé lorsqu’elle produit des effets juridiques ou l’affecte de manière significative. Ce principe comporte des exceptions, notamment lorsqu’une décision est autorisée par le droit. Mais même dans ces cas, des garanties doivent protéger les personnes, dont la possibilité d’obtenir une intervention humaine et de faire valoir leur point de vue.

Enfin, le règlement européen sur l’intelligence artificielle, souvent appelé AI Act, est entré en vigueur le 1er août 2024. Au 26 mars 2025, ses premières règles sont déjà applicables depuis le 2 février 2025, notamment celles relatives aux pratiques d’IA interdites et à la culture de l’IA. Une large part de ses obligations s’appliquera progressivement par la suite. Le texte encadre plus strictement les systèmes considérés à haut risque, ce qui peut concerner certains usages ayant une incidence sur l’accès à des services essentiels ou à des prestations publiques.

Transparence, contrôle humain et recours : les trois conditions d’une IA publique légitime

La demande de régulation européenne harmonisée évoquée par Claire Hédon ne revient pas à refuser l’innovation. Elle vise à éviter que les protections varient selon l’administration, le territoire ou l’outil employé. Pour un citoyen, le niveau de garantie ne devrait pas dépendre de la sophistication d’un logiciel ou de l’organisation interne d’un service.

Une IA utilisée dans la sphère publique doit donc être pensée dès le départ comme un dispositif contrôlable. Cela suppose plusieurs exigences complémentaires :

• Une information préalable et intelligible, afin que les usagers sachent quand un outil automatisé intervient dans leur démarche.
• Une évaluation des effets sur les droits, notamment sur l’égalité de traitement et les risques de discrimination.
• Un contrôle humain réel, avec des agents formés, capables de comprendre l’outil, de détecter ses limites et de modifier une décision.
• Des voies de recours accessibles, pour demander une explication, signaler une erreur et obtenir le réexamen d’une situation individuelle.
• Une responsabilité clairement attribuée, car l’administration reste comptable des décisions qu’elle prend au nom du service public.

L’intervention humaine ne doit pas être seulement symbolique. Un agent qui validerait mécaniquement la recommandation d’un outil, sans disposer du temps, de la formation ou des informations nécessaires pour la remettre en cause, ne constituerait pas un contrôle effectif. L’enjeu est de préserver une appréciation individualisée, surtout lorsque la situation d’une personne ne correspond pas aux catégories prévues par un système.

Quel recours pour un usager face à une décision automatisée ?

Face à une décision administrative défavorable, une personne peut d’abord demander à l’administration les motifs de la décision et, lorsqu’un traitement algorithmique est en cause, des informations sur les règles qui ont conduit au résultat. Cette démarche peut permettre de repérer une donnée erronée ou de mieux comprendre le dossier.

La personne peut également solliciter le réexamen de sa situation selon les voies de recours ouvertes par l’administration concernée. Si elle estime subir une discrimination, elle peut saisir la Défenseure des droits, dont la mission est de veiller au respect des droits et des libertés. L’institution peut être un interlocuteur essentiel lorsque l’automatisation rend l’origine d’un traitement défavorable difficile à établir.

Il est utile de conserver les courriers, notifications, captures d’écran et pièces transmises dans le cadre de la démarche. Ces éléments peuvent aider à reconstituer la décision, les échanges avec l’administration et les conséquences concrètes pour l’usager. Cela ne remplace pas une expertise technique, mais l’accès aux droits ne doit justement pas dépendre de la capacité d’une personne à analyser un algorithme.

Une gouvernance à construire avec les agents, les experts et les citoyens

Claire Hédon insiste sur la nécessité d’une collaboration entre les administrations, les développeurs d’IA et les autres acteurs concernés. Cette approche est déterminante : les équipes techniques ne peuvent pas, seules, déterminer ce qui est acceptable dans une décision touchant aux droits fondamentaux.

Les agents publics connaissent les cas particuliers, les difficultés des usagers et les situations dans lesquelles une règle générale produit un résultat injuste. Les juristes peuvent évaluer les obligations applicables. Les spécialistes des données peuvent auditer les paramètres et les performances d’un système. Les citoyens et les associations, enfin, apportent une expérience directe des obstacles rencontrés dans les démarches administratives.

Associer ces voix ne doit pas intervenir seulement après le déploiement d’un outil contesté. La question de l’utilité, de la proportionnalité et des effets possibles d’un système devrait être posée avant son adoption. Certaines décisions peuvent être assistées par des outils numériques. D’autres exigent, par leur impact sur les droits, un examen humain renforcé ou une prudence particulière.

Ce qu’il faut surveiller dans les prochaines années

L’intelligence artificielle peut contribuer à alléger certaines tâches administratives et à améliorer l’organisation des services publics. Mais son déploiement ne sera accepté durablement que s’il respecte une règle fondamentale : une personne ne doit pas perdre la maîtrise de ses droits parce qu’une procédure est devenue plus technique.

Les prochaines étapes seront donc décisives. Il faudra observer la façon dont les administrations appliquent les obligations de transparence existantes, l’entrée en application progressive du règlement européen sur l’IA et la capacité effective des usagers à demander des explications ou un réexamen. Il faudra aussi vérifier que le contrôle humain ne soit pas un simple principe affiché, mais une possibilité réelle de corriger une décision.

L’appel de la Défenseure des droits rappelle qu’en matière d’IA publique, la question n’est pas seulement de savoir ce qu’un système peut faire. Elle est de savoir qui peut le comprendre, qui peut le contester et qui répond de ses effets. C’est à cette condition que la numérisation des administrations pourra rester compatible avec l’égalité, la dignité et les exigences de la démocratie.