L’IA peut-elle réduire les inégalités raciales sans reproduire les biais ?

L’intelligence artificielle n’est ni naturellement juste ni inévitablement discriminatoire. Elle est conçue par des organisations, entraînée sur des données issues du monde réel et déployée dans des institutions qui ont déjà leurs propres inégalités. C’est pourquoi son rôle dans la lutte contre les discriminations raciales doit être examiné avec autant d’espoir que de rigueur.

Employée avec méthode, l’IA peut aider à révéler des écarts invisibles dans de grands volumes de données, par exemple des différences de traitement entre des groupes dans l’accès à un service ou dans le suivi de dossiers. Mal conçue, elle peut au contraire automatiser des préjugés historiques, leur donner une apparence de neutralité mathématique et les diffuser à grande échelle. La question n’est donc pas seulement de savoir si l’IA peut favoriser l’égalité raciale, mais dans quelles conditions elle peut le faire sans créer de nouveaux torts.

Pourquoi un algorithme peut-il reproduire des discriminations ?

Un système d’IA apprend des régularités à partir d’exemples. S’il reçoit des données incomplètes, déséquilibrées ou marquées par les discriminations du passé, il risque d’en tirer des règles qui défavorisent certains groupes. L’algorithme n’a pas besoin d’utiliser explicitement une information sur l’origine raciale ou ethnique pour produire un résultat inéquitable. Des variables apparemment neutres, comme un quartier de résidence, un parcours scolaire, des habitudes de consommation ou certains éléments de langage, peuvent jouer le rôle d’indices indirects.

Le problème peut apparaître à chaque étape du projet, bien avant l’écriture du code. Une base de données peut sous-représenter une population. L’objectif choisi par l’organisation peut être mal défini. Enfin, un outil peut sembler performant dans l’ensemble tout en produisant davantage d’erreurs pour un groupe précis. Mesurer une simple moyenne masque parfois ces écarts.

Les biais ne viennent donc pas uniquement des données. Ils peuvent aussi découler de la manière de poser le problème. Un outil de sélection qui cherche à reproduire les profils de personnes autrefois recrutées par une entreprise risque, par exemple, de reproduire les déséquilibres de ce recrutement. Une IA ne découvre pas spontanément ce qui est juste : elle optimise le but qui lui a été fixé.

Comment l’IA peut-elle aider à détecter une discrimination ?

L’IA peut également devenir un outil d’examen. Elle est capable de parcourir rapidement des milliers de décisions, de candidatures, de dossiers administratifs ou de conversations afin d’identifier des régularités qui méritent enquête. Un écart statistique n’est pas, à lui seul, la preuve d’une discrimination. Il peut toutefois signaler un problème et orienter un audit humain vers les données, les règles ou les pratiques à vérifier.

C’est l’intérêt des outils de détection des biais : comparer les taux d’erreur, les recommandations ou les décisions selon différents groupes, puis chercher l’origine d’un écart constaté. Cette démarche suppose de définir clairement ce que l’on appelle une décision équitable. Or, plusieurs critères d’équité peuvent entrer en tension. Chercher à obtenir les mêmes taux d’erreur pour tous les groupes, les mêmes chances d’obtenir un résultat favorable ou la même précision globale ne conduit pas toujours au même réglage.

L’IA peut donc rendre une inégalité plus visible, mais elle ne tranche pas à elle seule une question de justice sociale. Cette appréciation réclame du contexte, une connaissance des règles applicables et la possibilité pour les personnes affectées de faire valoir leur situation. Les organisations doivent documenter les données utilisées, les finalités du système, ses limites connues et la manière dont une décision peut être contestée.

La reconnaissance faciale illustre clairement cet enjeu. Des travaux du National Institute of Standards and Technology, organisme américain de normalisation, ont mis en évidence des écarts démographiques dans les performances de nombreux algorithmes de reconnaissance de visages. Cela ne signifie pas que toute reconnaissance faciale produit les mêmes erreurs dans toutes les conditions. Cela montre, en revanche, qu’un taux de précision général ne suffit pas à juger de l’impact réel d’un tel outil sur les personnes.

Justice, éducation, emploi : des usages qui exigent une vigilance maximale

Les systèmes d’IA sont déjà envisagés ou utilisés dans des domaines où une erreur peut peser lourdement sur une trajectoire individuelle : justice pénale, éducation, recrutement, accès au crédit, logement ou prestations publiques. Dans ces secteurs, l’IA peut aider à analyser les pratiques d’une institution, à repérer des écarts ou à faciliter le traitement de volumes importants de dossiers. Mais elle devient problématique lorsqu’elle remplace l’examen d’une situation par un score ou une prédiction opaque.

Dans la justice, l’analyse algorithmique de données judiciaires peut mettre en lumière des différences de traitement entre affaires comparables. Elle ne doit pas pour autant décider seule de la culpabilité, de la peine ou du risque attribué à une personne. Les données judiciaires reflètent aussi les contrôles, les plaintes, les interpellations et les choix de poursuite du passé. Les traiter comme une photographie neutre de la criminalité serait une erreur.

Dans l’éducation, un outil peut aider à repérer des élèves susceptibles d’avoir besoin d’un accompagnement. Si ses critères sont mal conçus, il peut aussi enfermer des enfants dans des catégories prédictives, avec des attentes plus faibles ou un accès restreint à certaines opportunités. Dans le recrutement, il est nécessaire de distinguer l’assistance à l’organisation des candidatures d’un système qui écarterait automatiquement des profils sans explication.

Au 22 mars 2025, l’AI Act européen offre un repère important. Le règlement, entré en vigueur le 1er août 2024, prévoit des obligations renforcées pour des systèmes d’IA à haut risque, notamment dans des domaines sensibles. Il s’ajoute au Règlement général sur la protection des données, ou RGPD, qui encadre déjà très strictement le traitement des données sensibles, dont celles révélant l’origine raciale ou ethnique.

Les chatbots peuvent-ils transmettre des stéréotypes ?

Les assistants conversationnels sont souvent perçus comme de simples interfaces. Pourtant, leurs réponses peuvent influencer la représentation que les utilisateurs se font de groupes sociaux. Un chatbot peut associer plus souvent certains prénoms, accents, quartiers ou origines à des rôles dévalorisants. Il peut aussi mal comprendre des expressions culturelles, répondre de manière inégale selon la formulation d’une question ou produire des généralisations déplacées.

Ces biais sont parfois subtils. Ils ne prennent pas nécessairement la forme d’une insulte ou d’un refus manifeste. Ils peuvent apparaître dans le ton employé, les exemples proposés, les hypothèses implicites ou les conseils donnés. Une réponse qui semble anodine, répétée des millions de fois, peut contribuer à renforcer des stéréotypes déjà installés.

Concevoir des chatbots plus inclusifs demande donc plus qu’un filtre sur les mots offensants. Les équipes doivent tester le système avec des requêtes variées, évaluer les réponses selon plusieurs contextes culturels et permettre aux utilisateurs de signaler facilement un contenu problématique. Des personnes issues de parcours différents doivent participer à ces évaluations, non comme caution symbolique, mais parce qu’elles repèrent des angles morts que des équipes homogènes peuvent ne pas voir.

Des règles communes, mais aussi des contrôles concrets

La lutte contre les biais raciaux ne se réduit pas à un principe général d’éthique affiché dans une charte. Elle requiert des mécanismes vérifiables : analyse d’impact avant le déploiement, tests par groupe, documentation des limites, contrôle humain compétent, voies de recours et audits réguliers après la mise en service. Un modèle peut changer de comportement lorsqu’il est appliqué à une nouvelle population ou dans un autre contexte. L’évaluation doit donc être continue.

Les collaborations internationales, à l’image de la Déclaration franco-canadienne sur l’intelligence artificielle, participent à la recherche de principes communs pour une IA tournée vers l’intérêt général. Cet échange est nécessaire, car les systèmes et les entreprises qui les développent circulent au-delà des frontières. Il ne dispense cependant pas les institutions d’assumer leurs responsabilités locales, notamment vis-à-vis des lois sur la non-discrimination et la protection de la vie privée.

La vie privée est un point de vigilance central. La reconnaissance faciale, la catégorisation de personnes et la surveillance automatisée peuvent exposer plus fortement des populations déjà confrontées à des contrôles disproportionnés. Accumuler des données ne rend pas un système plus juste par principe. Dans certains cas, la meilleure garantie contre un usage discriminatoire consiste à limiter la collecte, à renoncer à un dispositif trop intrusif ou à ne pas automatiser la décision.

Associer les personnes concernées à la conception

Une IA plus équitable ne peut pas être construite exclusivement par des ingénieurs, ni évaluée uniquement avec des indicateurs techniques. Les juristes, chercheurs en sciences sociales, associations de défense des droits, professionnels de terrain et personnes concernées ont chacun une expertise utile. Leur participation permet de poser des questions concrètes : quel préjudice ce système peut-il créer ? Qui supportera le coût d’une erreur ? Comment une décision sera-t-elle expliquée et contestée ?

Diversifier les équipes de conception est important, mais cela ne suffit pas. Une organisation doit donner aux personnes chargées de l’éthique, de la conformité et de l’audit les moyens d’influer réellement sur le produit. Elle doit également accepter qu’un projet soit modifié, suspendu ou abandonné si les risques ne peuvent pas être réduits à un niveau acceptable.

Un moratoire sur l’extension de certains usages peut alors avoir un sens. Il ne s’agit pas nécessairement de freiner toute innovation, mais de créer le temps d’évaluer les effets d’une technologie lorsqu’elle touche aux libertés, à l’accès aux droits ou à la dignité des personnes. Dans les domaines les plus sensibles, la rapidité de déploiement ne doit pas devenir le seul critère de décision.

Ce qu’il faut surveiller pour que l’IA serve réellement l’égalité

La promesse d’une IA au service de la justice raciale ne se réalisera pas parce qu’un outil se déclare impartial. Elle dépendra de preuves : des tests publiés, des audits indépendants lorsque cela est possible, des mécanismes de recours accessibles et une transparence suffisante pour comprendre la logique d’une décision. Il faudra aussi examiner les effets concrets après le déploiement, et pas seulement les résultats obtenus dans un environnement de test.

Quatre questions doivent guider l’évaluation de tout système sensible : son objectif est-il légitime et nécessaire ? Les données utilisées reflètent-elles correctement les personnes concernées ? Les erreurs sont-elles réparties de manière équitable ? Une personne peut-elle comprendre, contester et faire réexaminer une décision qui l’affecte ?

L’IA peut contribuer à identifier des discriminations que les institutions ne voyaient pas ou ne mesuraient pas assez. Elle peut aussi les renforcer en les cachant derrière la complexité d’un algorithme. Entre ces deux possibilités, le choix relève moins de la machine que de la qualité des règles, de la vigilance démocratique et de la capacité collective à ne pas confondre automatisation et justice.