Recrutement par IA : les biais de caste et de race que les chatbots laissent passer

Les chatbots capables de dialoguer avec des candidats prennent progressivement place dans le recrutement. Ils peuvent répondre à des questions, relancer des postulants, organiser certaines étapes ou assister les recruteurs dans les tâches les plus répétitives. Leur promesse est celle d’un processus plus fluide. Mais lorsqu’un agent conversationnel intervient dans un domaine aussi déterminant que l’accès à l’emploi, ses réponses ne sont jamais anodines.

Une étude de l’Université de Washington, présentée en novembre 2024 à la conférence EMNLP à Miami, alerte sur des préjugés moins visibles que les insultes ou les propos ouvertement discriminatoires. En simulant des entretiens d’embauche avec huit grands modèles de langage, ses auteurs ont repéré des contenus nuisibles liés à la race et à la caste. Sept des huit modèles testés en ont généré dans une proportion significative. Le constat est particulièrement préoccupant pour la caste, un système de hiérarchie sociale dont les réalités sont insuffisamment prises en compte par de nombreux outils conçus dans des contextes occidentaux.

Les assistants de recrutement gagnent du terrain

L’intelligence artificielle n’est plus seulement utilisée pour trier des CV ou diffuser des offres. Les assistants conversationnels peuvent désormais échanger directement avec les personnes qui cherchent un emploi. LinkedIn a ainsi dévoilé son Assistant de recrutement, un agent d’IA chargé de prendre en charge des tâches répétitives du parcours de recrutement, y compris les interactions avec les candidats avant et après les entretiens.

Cet outil est le plus visible d’un ensemble plus large de services, parmi lesquels Tombo.ai et Moonhub.ai. Leur principe commun est de s’appuyer sur de grands modèles de langage, souvent désignés par l’acronyme anglais LLM, pour comprendre des demandes formulées en langage courant et générer des réponses.

Dans le recrutement, cette capacité peut paraître particulièrement utile. Un assistant peut par exemple assurer une première prise de contact, préciser les prochaines étapes ou accompagner un échange. Toutefois, la conversation est aussi le lieu où s’expriment des sous-entendus, des normes sociales et des jugements sur l’aptitude supposée d’une personne. Un modèle qui produit ou reprend des associations préjudiciables risque donc d’influencer l’expérience des candidats, voire les décisions humaines qui s’appuient sur lui.

Pourquoi les biais subtils échappent-ils aux garde-fous ?

Les systèmes d’IA disposent souvent de mécanismes destinés à éviter les réponses manifestement nocives. Ces garde-fous peuvent être efficaces lorsqu’il s’agit de repérer des formes de haine explicites, fréquentes dans les données et bien identifiées dans les pays occidentaux. Tanu Mitra, auteur principal de l’étude et professeur associé, relève ainsi qu’un système peut relativement facilement détecter une réponse comportant une insulte raciale.

Le problème étudié ici est d’une autre nature. Il concerne des formulations plus indirectes, qui peuvent dévaloriser un groupe, mettre en doute ses compétences ou le réduire à une fonction symbolique. Ces messages ne prennent pas toujours la forme d’une attaque frontale. Ils peuvent se glisser dans une remarque sur la communication au sein d’une équipe, dans une supposée incompatibilité culturelle ou dans une manière désinvolte de traiter les politiques de diversité.

Les chercheurs soulignent que beaucoup de systèmes sont développés dans des pays occidentaux. Or les catégories sociales prises en compte par leurs règles de sécurité et leurs méthodes d’évaluation ne couvrent pas automatiquement toutes les réalités locales. La caste en Asie du Sud en est un exemple important. Si un modèle ne reconnaît pas les références, les rapports de domination ou les stéréotypes qui lui sont associés, il peut laisser passer des préjudices que ses garde-fous n’ont pas appris à identifier.

Il ne s’agit pas seulement de savoir si un chatbot refuse les demandes explicitement haineuses. Il faut aussi examiner ce qu’il génère spontanément lorsqu’une conversation aborde un sujet sensible, dans un cadre ordinaire et professionnel.

Une méthode fondée sur les sciences sociales

Pour analyser ces préjugés discrets, l’équipe de l’Université de Washington a élaboré une méthode inspirée des sciences sociales. Elle repose sur sept indicateurs et s’appuie sur le cadre CHAST, consacré aux préjudices indirects et aux menaces sociales.

Ce cadre permet notamment de distinguer deux grandes familles de mécanismes problématiques :

• les menaces de compétence, qui remettent en cause la capacité ou la légitimité d’un groupe à accomplir une tâche ;
• les menaces symboliques, qui présentent un groupe comme une menace pour des valeurs, des normes ou une identité collective, au-delà d’un simple préjugé déclaré.

Cette grille est utile parce qu’elle déplace la question. Au lieu de ne rechercher que des mots interdits ou des insultes, elle s’intéresse au sens d’une réponse dans son contexte. Une phrase peut ne comporter aucun terme explicitement offensant tout en véhiculant l’idée qu’une personne serait moins adaptée à un emploi à cause de son origine ou de son appartenance sociale.

Les chercheurs ont soumis huit modèles de langage à des simulations d’entretiens d’embauche. Les dialogues portaient sur la race et la caste dans quatre professions : développeur de logiciels, médecin, infirmier et enseignant. Les modèles ont été utilisés avec leurs paramètres par défaut, un point méthodologique important : l’équipe n’a pas eu recours à des consignes conçues pour contourner leurs protections.

Après avoir annoté 100 conversations, les chercheurs ont entraîné un modèle sur cet ensemble afin de détecter les contenus nuisibles dans le reste du corpus. Cette approche combine donc une lecture structurée des échanges et une analyse à plus grande échelle.

Des dialogues nuisibles sans provocation explicite

Préetam Dammu, co-auteur principal, souligne que de nombreuses études sur la sûreté des modèles utilisent des « attaques par invite ». Ces consignes cherchent délibérément à pousser une IA à produire un contenu qu’elle devrait normalement refuser. L’approche retenue par l’équipe de Washington est différente : elle introduit simplement des thèmes sensibles dans la conversation, puis laisse le modèle poursuivre le dialogue.

Le résultat est sans équivoque : même dans ce cadre, la plupart des modèles ont produit du contenu nuisible. 69 % des discussions sur la caste comportaient de tels éléments. En considérant toutes les conversations, la part s’élevait à 48 %.

L’étude donne des exemples qui illustrent le caractère parfois indirect du problème. Un modèle a échoué au critère de menace de compétence en laissant entendre que le fait que « notre équipe est surtout blanche » pourrait poser des difficultés de communication. La formulation n’est pas une insulte, mais elle associe implicitement l’intégration ou la capacité à communiquer à l’appartenance raciale d’un candidat.

Dans un autre cas, un modèle a échoué au critère de dénigrement avec cette proposition : « Préparons quelques jetons de diversité et terminons-en ». La réponse banalise la diversité en la ramenant à un geste de façade. Dans un environnement de recrutement, ce type de discours peut contribuer à installer l’idée que les efforts d’inclusion ne seraient qu’une contrainte ou une mise en scène.

Les modèles ne se comportent pas tous de la même façon

Les huit systèmes étudiés n’ont pas généré des contenus nuisibles à la même fréquence. L’étude met en évidence un écart entre les deux modèles propriétaires de ChatGPT et les six modèles open source évalués. Les deux variantes de ChatGPT ont produit beaucoup moins de contenus nuisibles, surtout dans les conversations portant sur la race.

Cette différence ne signifie pas que les modèles propriétaires seraient exempts de biais. Les chercheurs ont observé une variation importante entre les deux versions de ChatGPT : l’une a généré peu de contenu nuisible, tandis que l’autre en a produit davantage sur les questions de caste. Autrement dit, la présence de mécanismes de sécurité ou d’un entraînement plus encadré ne dispense pas de tests détaillés, thème par thème et contexte culturel par contexte culturel.

L’écart observé avec les modèles open source appelle aussi une lecture prudente. Les résultats portent sur les systèmes et les conditions de cette expérience précise. Ils ne permettent pas de conclure que tous les modèles open source réagissent de la même manière ni d’établir un classement universel. Ils montrent, en revanche, qu’il est indispensable de soumettre chaque modèle à des évaluations adaptées à son usage réel avant de le déployer dans un secteur sensible.

Ce que cette étude change pour le recrutement

Un dialogue simulé ne reproduit pas à lui seul toutes les conséquences d’un processus de recrutement. Il ne prouve pas non plus qu’un outil donné écarterait automatiquement un candidat. Mais la recherche met en lumière un risque concret : une IA conversationnelle peut générer des discours nuisibles dans des échanges qui ressemblent à des entretiens professionnels, sans être explicitement incitée à le faire.

Pour les entreprises, l’enjeu est autant éthique qu’opérationnel. Utiliser un assistant d’IA dans le recrutement implique de vérifier son comportement dans les langues, les métiers et les contextes sociaux où il sera réellement utilisé. Les tests devraient chercher non seulement les propos ouvertement discriminatoires, mais aussi les insinuations, les stéréotypes sur les compétences et les représentations réductrices de la diversité.

Cela suppose également de maintenir une responsabilité humaine. Un recruteur ne devrait pas traiter les suggestions, résumés ou messages d’un chatbot comme des jugements neutres et objectifs. Un modèle de langage produit du texte à partir de régularités apprises dans de vastes ensembles de données. Il ne possède ni compréhension morale autonome ni connaissance exhaustive de toutes les structures sociales auxquelles ses réponses peuvent faire référence.

Ce qu’il faut surveiller

Les auteurs espèrent que leurs travaux contribueront à des politiques plus éclairées autour des modèles de langage. Hayoung Jung, co-auteur et étudiant en master, insiste sur la nécessité de disposer de méthodes d’évaluation robustes pour pouvoir réguler ces systèmes. Sans instruments capables de révéler les préjudices indirects, une partie des risques restera invisible dans les audits.

Le chantier dépasse la race et la caste, même si ces deux sujets sont au cœur de cette étude. Les chercheurs appellent à étendre l’analyse à davantage de métiers, de concepts culturels et d’identités intersectionnelles, c’est-à-dire à des situations où plusieurs caractéristiques sociales se combinent. Une personne peut en effet être exposée à des préjugés qui ne se comprennent pas en examinant séparément son origine, son genre, sa position sociale ou d’autres dimensions de son identité.

À mesure que les assistants d’IA entrent dans les pratiques de recrutement, leur évaluation ne pourra donc pas se limiter à leur fluidité conversationnelle ou à leur capacité à faire gagner du temps. La question centrale sera aussi de savoir quels groupes leurs réponses risquent de désavantager, dans quels contextes et selon quels mécanismes. Pour rendre ces outils réellement utiles, il faut pouvoir examiner leurs angles morts avant qu’ils ne se transforment en obstacles pour les candidats.