Évaluation financière : pourquoi la transparence ne suffit pas à protéger vos droits

Lorsqu’un organisme attribue un score de risque, évalue une solvabilité ou automatise une partie de ses décisions, l’algorithme ne se contente pas de produire un chiffre technique. Il peut peser sur l’accès à un crédit, sur les conditions commerciales proposées ou sur l’appréciation d’un dossier. Dans ce contexte, la transparence est souvent présentée comme une réponse évidente : il suffirait de communiquer le fonctionnement du système pour restaurer la confiance. En pratique, le problème est plus vaste.

Rendre public un code informatique, publier une notice ou décrire quelques critères ne garantit pas qu’une personne sache quelles données ont été utilisées à son sujet, pourquoi son dossier a reçu telle évaluation, ni comment faire corriger une erreur. La transparence algorithmique est donc utile, mais elle ne remplace ni le droit d’accès aux données personnelles, ni la prévention des discriminations, ni un recours humain effectif.

Dans la finance, que recouvre une décision algorithmique ?

Le terme d’« évaluation financière » peut désigner des réalités différentes. Dans le crédit, il renvoie par exemple à l’estimation de la capacité d’une personne à rembourser. Dans l’assurance, il peut s’agir de classer un risque. Ces opérations ne sont pas nécessairement entièrement automatisées : un outil peut proposer un score, attirer l’attention sur certains éléments d’un dossier ou aider un professionnel à prendre une décision.

Un algorithme repose généralement sur plusieurs couches : des données d’entrée, des règles de calcul ou un modèle statistique, des paramètres définis lors de sa conception, puis une restitution sous la forme d’un score, d’une recommandation ou d’un classement. Comprendre une décision exige donc davantage que la lecture d’une formule.

Cette distinction est essentielle. La transparence peut porter sur le système dans son ensemble, alors que le droit d’accès concerne, lui, la situation individuelle d’une personne et les données qui la concernent.

Le droit d’accès ne se résume pas à voir le code source

En Europe, le Règlement général sur la protection des données, ou RGPD, reconnaît un droit d’accès aux données personnelles. Une personne peut demander à une organisation de lui confirmer si elle traite des données la concernant et, le cas échéant, d’en obtenir une copie ainsi que certaines informations sur ce traitement.

Cette demande peut notamment éclairer les finalités poursuivies, les catégories de données traitées, les destinataires éventuels ou la durée de conservation. Le droit de rectification complète ce dispositif : si une information personnelle est inexacte, la personne peut demander qu’elle soit corrigée.

Lorsqu’une décision est fondée exclusivement sur un traitement automatisé et qu’elle produit des effets juridiques ou affecte significativement une personne de façon similaire, l’article 22 du RGPD prévoit un encadrement particulier. Des exceptions existent, notamment lorsque la décision est nécessaire à la conclusion ou à l’exécution d’un contrat, autorisée par le droit, ou fondée sur le consentement explicite. Mais même dans ces cas, des garanties doivent protéger la personne concernée, dont la possibilité d’obtenir une intervention humaine, d’exprimer son point de vue et de contester la décision.

Le règlement impose également de fournir des informations utiles sur la logique sous-jacente dans les situations de décision automatisée concernées. Cette exigence ne signifie pas automatiquement que toute organisation doit dévoiler l’intégralité de son code ou ses secrets d’affaires. Elle vise surtout à éviter qu’une personne subisse une décision incompréhensible et impossible à discuter.

Autrement dit, fournir un programme informatique brut peut être insuffisant à deux titres. D’une part, un code est difficilement lisible pour la plupart des citoyens, y compris lorsqu’il est disponible. D’autre part, il ne révèle pas à lui seul les données effectivement utilisées dans un dossier ni les étapes opérationnelles qui ont conduit à un résultat.

Pourquoi la publication des algorithmes laisse subsister des zones d’ombre

La publication du code source peut permettre des audits indépendants et nourrir le débat public. Elle ne doit donc pas être écartée. Dans les services publics, les obligations de transparence relatives aux traitements algorithmiques ont d’ailleurs pris une importance croissante. Pourtant, la communication d’informations reste souvent incomplète, peu intelligible ou insuffisamment actualisée. Le constat formulé dans le débat public est que plus de la moitié des collectivités ne satisfont pas à ces exigences de transparence.

Cette difficulté montre les limites d’une approche uniquement documentaire. Un code peut indiquer qu’une variable est utilisée, sans expliquer sa qualité, son origine, la fréquence de mise à jour des données ou la manière dont elle interagit avec d’autres critères. Un modèle statistique peut aussi être mis à jour au fil du temps. Une documentation figée risque alors de ne plus correspondre au fonctionnement effectif du système.

Pour la personne concernée, les questions les plus utiles sont souvent très concrètes : une information a-t-elle été mal saisie ? Une donnée ancienne a-t-elle été conservée ? Quel facteur a joué un rôle important dans l’évaluation ? Qui peut réexaminer le dossier ? Ces réponses requièrent des dispositifs organisés, pas seulement une publication technique.

Les biais algorithmiques peuvent produire des effets discriminatoires

La question de la transparence est étroitement liée à celle des discriminations algorithmiques. Un système peut reproduire ou amplifier des inégalités sans jamais utiliser explicitement un critère sensible. Des variables apparemment neutres peuvent agir comme des indicateurs indirects d’une situation sociale ou géographique, selon la façon dont le modèle a été conçu et entraîné.

Le risque ne vient pas uniquement du logiciel. Il peut apparaître à plusieurs moments : lors de la constitution des données, dans le choix des critères, dans la définition de l’objectif à optimiser ou dans l’interprétation du score par les équipes qui l’utilisent. Un modèle peut par exemple être techniquement performant selon un indicateur global, tout en commettant davantage d’erreurs pour certains groupes de personnes.

C’est pourquoi des spécialistes tels que Philippe Besse plaident pour une évaluation approfondie des algorithmes. Cette évaluation ne consiste pas seulement à demander si un outil fonctionne. Elle doit aussi examiner pour qui il fonctionne moins bien, dans quelles circonstances, avec quelles conséquences et selon quelles modalités de correction.

Une véritable gouvernance suppose notamment :

• de documenter les données et les objectifs du système ;
• de tester les performances et les erreurs dans des situations variées ;
• de surveiller les changements de résultats après un déploiement ;
• de prévoir une procédure claire de signalement et de réexamen ;
• de conserver une traçabilité suffisante pour qu’un contrôle soit possible.

Le contrôle des algorithmes dans les services publics donne un repère

Les administrations publiques ont une responsabilité particulière lorsqu’elles s’appuient sur des traitements algorithmiques. Le droit français encadre la transparence de ces dispositifs et impose des obligations d’information dans certaines situations. L’enjeu est de prévenir des décisions opaques qui affecteraient les administrés sans qu’ils puissent en comprendre le fondement.

Le contrôle judiciaire peut jouer un rôle concret. Dans une décision rendue par la Cour administrative d’appel de Marseille, l’absence d’évaluation préalable d’un algorithme a conduit à l’annulation d’une délibération. Sans préjuger de toutes les situations, ce précédent rappelle une règle de méthode importante : le déploiement d’un outil algorithmique ne peut pas être traité comme une simple question d’informatique.

Avant la mise en œuvre, l’organisme doit être en mesure d’identifier les objectifs de l’outil, les données mobilisées, les risques pour les personnes et les garanties prévues. Après le déploiement, il doit pouvoir en évaluer les effets réels. Cette logique concerne directement le secteur public, mais elle offre aussi un repère utile aux acteurs financiers : une décision qui affecte une personne doit être justifiable, contrôlable et, le cas échéant, révisable.

L’AI Act européen renforce l’approche par les risques

L’Union européenne a adopté le règlement sur l’intelligence artificielle, généralement appelé AI Act, afin d’harmoniser les règles applicables aux systèmes d’IA dans les États membres. Entré en vigueur le 1er août 2024, ce texte organise ses obligations selon le niveau de risque des usages.

L’évaluation de la solvabilité des personnes physiques et l’établissement de leur score de crédit figurent parmi les cas d’usage classés à haut risque, à l’exception des systèmes utilisés pour détecter la fraude financière. Cette qualification reflète l’impact potentiel de ces outils sur l’accès à des services essentiels.

Au 2 mars 2025, certaines premières dispositions de l’AI Act sont déjà applicables depuis février 2025, notamment les interdictions concernant certaines pratiques d’IA et les obligations liées à la culture de l’IA. Les exigences centrales applicables aux systèmes à haut risque, telles que la gestion des risques, la qualité des données, la documentation, la traçabilité, la surveillance humaine et le suivi après mise sur le marché, doivent suivre le calendrier prévu par le règlement.

L’AI Act ne remplace pas le RGPD. Les deux textes répondent à des questions différentes mais complémentaires. Le RGPD protège les données personnelles et encadre certains effets des décisions automatisées. L’AI Act impose une organisation plus large de la sécurité, de la qualité et de la supervision des systèmes d’IA. Pour un outil de scoring, respecter l’un ne dispense donc pas de respecter l’autre.

Ce qu’il faut surveiller pour un droit d’accès effectif

La transparence algorithmique ne devrait pas être mesurée au nombre de pages techniques publiées. Son efficacité se juge plutôt à la capacité d’une personne à comprendre ce qui la concerne, à obtenir les informations pertinentes, à faire rectifier une erreur et à contester une décision susceptible d’avoir des conséquences importantes.

Pour les organismes financiers comme pour les administrations, le défi est d’articuler plusieurs impératifs : protéger les données personnelles, préserver les secrets d’affaires légitimes, prévenir les biais, documenter les choix techniques et garantir un contrôle humain là où les conséquences sont fortes. Ces exigences peuvent sembler contraignantes, mais elles constituent aussi une condition de confiance.

Le débat ne porte donc pas sur une opposition simple entre opacité et publication intégrale. Il porte sur la mise en place de garanties vérifiables. À mesure que les algorithmes prennent une place plus visible dans les décisions économiques et administratives, la question décisive devient celle-ci : les personnes disposent-elles réellement des moyens de comprendre, de corriger et de contester ce qui est décidé à leur sujet ?