LangBiTe, l’outil qui traque les biais des IA au-delà du genre

Les systèmes d’intelligence artificielle ne prennent pas leurs décisions dans le vide. Ils apprennent à partir de vastes ensembles de textes et d’images produits par des humains, donc porteurs de stéréotypes, d’inégalités et de rapports de force sociaux. Lorsqu’un modèle répond différemment selon le genre, la religion, l’origine ou les opinions prêtées à une personne, le risque ne se limite pas à une formulation maladroite : ces biais peuvent peser sur des usages très concrets, de la production de contenus à l’orientation d’un candidat ou à l’accès à un service.

C’est à ce problème que s’attaque LangBiTe, un outil open source mis au point par des chercheurs de l’Universitat Oberta de Catalunya (UOC) et de l’Université de Luxembourg. Présenté dans une publication scientifique de 2024, il vise à tester de façon organisée les biais et les questions d’équité dans les grands modèles de langage, les LLM qui alimentent notamment les assistants conversationnels. Sa particularité tient à son ambition : ne pas réduire l’évaluation au seul sexisme, mais examiner plusieurs formes possibles de discrimination et laisser les organisations adapter les tests à leur réalité.

Pourquoi les biais des IA doivent-ils être testés ?

Un modèle génératif prédit la suite la plus plausible d’une phrase ou génère une image à partir des régularités présentes dans ses données d’entraînement. Il ne possède pas, par lui-même, de compréhension morale ni de sens de la justice. Il peut donc associer plus souvent certaines professions à un genre, décrire négativement une communauté, traiter une croyance religieuse de manière inégale ou reproduire des clivages politiques.

Le problème est d’autant plus important que les réponses d’un modèle peuvent paraître fluides, convaincantes et neutres. Une affirmation formulée avec assurance n’est pas pour autant équitable ni exacte. Les équipes qui intègrent une IA dans un produit doivent donc vérifier son comportement avant son déploiement, puis au fil des changements de version, de données et de règles de sécurité.

Les biais ne se manifestent pas tous de la même façon. Ils peuvent prendre plusieurs formes :

• une réponse explicitement stéréotypée ou insultante ;
• une différence de ton, de recommandation ou de niveau de détail entre deux profils comparables ;
• une association répétée entre un groupe et une caractéristique négative ;
• l’effacement de certaines identités, langues ou cultures dans les exemples produits ;
• une réponse apparemment prudente, mais qui applique des standards différents selon le groupe évoqué.

LangBiTe, un langage de test pour l’équité des modèles

LangBiTe a été développé avec la participation de Sergio Morales, avec le soutien de Robert Clarisó et de Jordi Cabot. Les travaux ont été publiés dans les actes de la 27e conférence internationale ACM/IEEE sur l’ingénierie dirigée par les modèles, MODELS 2024.

Le nom de l’outil renvoie à son rôle : fournir un cadre pour interroger un modèle, recueillir ses réponses et examiner si elles respectent les attentes définies par l’utilisateur en matière d’équité et de non-discrimination. Il ne se contente pas d’envoyer quelques questions isolées à un chatbot. Son intérêt est de formaliser les scénarios de test afin de pouvoir les reproduire, les comparer et les faire évoluer.

Les chercheurs présentent LangBiTe comme une ressource destinée à la fois aux concepteurs d’applications d’IA générative et à des utilisateurs non techniques. L’idée est de rendre visibles des comportements qui passeraient facilement inaperçus dans une démonstration ponctuelle. Une organisation peut ainsi soumettre des requêtes comparables en modifiant un seul attribut, par exemple le genre ou la religion d’une personne décrite, puis observer si la réponse du modèle varie de manière problématique.

Le projet comprend plus de 300 prompts. Ces instructions couvrent notamment les préjugés liés au genre, à l’âge, aux préférences politiques, à la religion et à la nationalité. Chaque prompt est associé à des réponses ou attentes permettant d’apprécier le résultat obtenu. LangBiTe propose aussi des modèles de prompts que les utilisateurs peuvent modifier et compléter.

Cette capacité de personnalisation est centrale. Une université, une administration, une entreprise ou une association ne sera pas confrontée aux mêmes risques, ni aux mêmes obligations. Les chercheurs ne cherchent donc pas à imposer une définition unique de ce qui est moralement acceptable. Ils donnent aux organisations un moyen de formuler leurs préoccupations éthiques selon leur contexte culturel, social et législatif.

Au-delà des stéréotypes de genre

Les évaluations des IA se sont longtemps concentrées, en grande partie, sur les discriminations de genre. Cette dimension reste indispensable, mais elle ne couvre pas à elle seule la diversité des préjudices possibles. LangBiTe élargit le regard à des réponses pouvant être racistes, biaisées sur le plan politique, ou porteuses de connotations homophobes, ainsi qu’à d’autres discriminations socioculturelles.

Cet élargissement compte aussi parce que les biais peuvent se cumuler. Une personne n’est pas définie par une seule caractéristique : l’âge, le genre, la langue, la nationalité, la religion ou l’orientation politique peuvent se croiser. Un outil de test ne peut pas épuiser toute cette complexité avec quelques centaines de cas, mais il aide à passer d’une promesse générale d’« IA responsable » à une série de vérifications observables.

Comparer les modèles et leurs versions

LangBiTe peut interagir avec des modèles propriétaires d’OpenAI, dont GPT-3.5 et GPT-4, ainsi qu’avec d’autres modèles accessibles via les plateformes Hugging Face et Replicate. Ces plateformes donnent notamment accès à des modèles associés à des acteurs comme Google et Meta. Les développeurs peuvent étendre l’outil pour évaluer d’autres modèles.

L’un des intérêts pratiques est de pouvoir comparer les versions successives d’un même assistant. Une nouvelle version peut améliorer certains résultats tout en faisant apparaître de nouvelles différences de comportement : disposer de scénarios constants permet de ne pas se fier uniquement à une impression d’usage.

Dans l’évaluation rapportée par les chercheurs, GPT-4 a atteint 97 % de réussite dans les tests portant sur le biais de genre, contre 42 % pour GPT-3.5. Cet écart ne doit pas être lu comme un classement universel de l’équité des deux modèles. Il reflète les prompts et les critères retenus dans cette série de tests. Il illustre néanmoins l’utilité d’un protocole reproductible pour objectiver les progrès, ou les régressions, entre deux générations de modèles.

Les chercheurs ont aussi observé, pour Flan-T5 de Google, qu’une taille de modèle plus élevée était corrélée à une réduction des biais liés au genre, à la religion et à la nationalité. Là encore, cette corrélation ne permet pas de conclure qu’un modèle plus grand serait automatiquement plus juste dans toutes les situations. La taille est une caractéristique parmi d’autres : les données, les instructions de sécurité, l’alignement et le contexte d’utilisation comptent également.

Des tests dans plusieurs langues et sur les images

Une grande part des modèles les plus populaires a été entraînée à partir de contenus en anglais. Or, un système peut se comporter différemment quand la requête est formulée dans une autre langue. Les mots employés, les références culturelles, la quantité de données disponibles et les stéréotypes présents dans chaque corpus peuvent modifier la réponse.

LangBiTe intègre donc une fonctionnalité d’évaluation tenant compte de la langue utilisée dans les requêtes. Cette approche est particulièrement pertinente à mesure que se développent des initiatives d’entraînement de modèles dans des langues autres que l’anglais, dont le catalan et l’italien. Pour une organisation francophone, cela rappelle qu’un test réalisé exclusivement en anglais ne suffit pas à garantir la qualité d’une application proposée en français.

Les travaux évoquent également les générateurs d’images, tels que Stable Diffusion et DALL·E. Les visuels synthétiques sont utilisés dans des livres pour enfants, des contenus graphiques et de nombreux supports de communication. Ils peuvent eux aussi reproduire des représentations stéréotypées, par exemple dans l’attribution de professions, de rôles sociaux ou de traits supposés à certains groupes. L’objectif des chercheurs est que LangBiTe contribue à identifier et à corriger ces biais dans les images générées.

Quel lien avec l’AI Act européen ?

Le règlement européen sur l’intelligence artificielle, couramment appelé AI Act, est entré en vigueur le 1er août 2024. Ses obligations s’appliqueront progressivement selon les catégories de systèmes et les dispositions concernées. Le texte s’inscrit dans un cadre européen qui protège notamment le droit à la non-discrimination et met l’accent sur l’égalité, l’égalité de genre et la diversité culturelle.

Dans ce contexte, un outil tel que LangBiTe peut aider une organisation à constituer une démarche de gouvernance : définir les risques de discrimination jugés prioritaires, exécuter des tests, conserver les résultats, comparer des versions et corriger les problèmes détectés. Le Luxembourg Institute of Science and Technology, LIST, a commencé à intégrer LangBiTe pour évaluer plusieurs modèles d’IA générative populaires.

Il faut toutefois distinguer un outil de test et une garantie juridique. Aucun pourcentage obtenu sur une série de prompts ne certifie, à lui seul, la conformité complète d’un produit. Une évaluation sérieuse doit aussi examiner la finalité du système, les personnes susceptibles d’être affectées, la qualité des données, les mécanismes de recours, la supervision humaine et les conditions concrètes d’utilisation.

Ce qu’il faut surveiller

LangBiTe apporte une réponse pragmatique à un problème souvent traité par des principes généraux : il transforme l’équité en scénarios de test comparables. Son caractère open source et adaptable peut faciliter l’appropriation de cette démarche par des équipes qui ne construisent pas elles-mêmes les modèles, mais les intègrent dans leurs services.

La valeur de l’outil dépendra néanmoins de la qualité des questions posées. Des prompts mal conçus, trop prévisibles ou déconnectés du contexte local risquent de donner une image rassurante mais incomplète. Les organisations auront intérêt à associer les équipes techniques, les juristes, les experts métier et, lorsque l’enjeu le justifie, les personnes ou communautés concernées par les décisions automatisées.

L’autre défi sera de suivre les modèles dans le temps. Une mise à jour d’un fournisseur, un changement de modèle sous-jacent ou l’ajout d’une nouvelle langue peuvent modifier les réponses. La lutte contre les biais ne se résume donc pas à un contrôle avant lancement. Elle suppose une évaluation régulière, transparente et adaptée aux usages réels de l’IA.