Chatbots IA et santé mentale : une empathie qui varie selon la race perçue

Lorsqu’une personne en détresse écrit quelques lignes sur un forum, ce qu’elle attend n’est pas seulement une information correcte. Elle cherche aussi à être entendue, à recevoir une réponse qui reconnaît son expérience et l’aide, si possible, à envisager une suite. Les chatbots d’intelligence artificielle sont de plus en plus capables de tenir ce type de conversation. Une étude relayée en décembre 2024 rappelle toutefois que cette capacité de soutien ne se distribue pas nécessairement de façon égale : les réponses de GPT-4 peuvent perdre en empathie lorsque le message contient des indices associés à certaines identités raciales.

Ce constat mérite une attention particulière, car les assistants conversationnels s’installent dans des usages intimes : recherche de réconfort, expression d’une anxiété, demande de conseils face à un mal-être. L’enjeu ne consiste pas à attribuer aux machines une intention discriminatoire. Il est de comprendre comment des modèles statistiques, entraînés sur d’immenses corpus de textes humains, peuvent reproduire des associations et des inégalités présentes dans ces données.

Ce que l’étude a analysé

Les chercheurs ont examiné plus de 12 000 messages et environ 70 000 réponses publiés dans des sous-forums Reddit liés à la santé mentale. Ce matériau permet de comparer des interactions de soutien entre internautes avec des réponses produites par GPT-4, le grand modèle de langage d’OpenAI.

L’objectif était double. Il s’agissait d’abord d’évaluer dans quelle mesure un chatbot peut relever, dans le texte d’un utilisateur, des éléments laissant deviner une appartenance raciale. Il s’agissait ensuite de mesurer si cette information, explicite ou suggérée par le contexte, modifiait la qualité empathique de la réponse fournie.

Les réponses ont été soumises à l’évaluation de psychologues cliniciens. Selon le protocole décrit, ces professionnels ne savaient pas si les messages qu’ils notaient provenaient d’humains ou du chatbot. Cette méthode dite en aveugle cherche à limiter un biais simple : noter plus sévèrement ou plus favorablement un texte parce que l’on connaît son auteur.

Comment un chatbot peut-il « identifier » la race d’un utilisateur ?

Le terme d’identification peut être trompeur. Un chatbot ne voit pas la personne derrière l’écran et ne connaît pas son identité au sens administratif ou biographique du terme. Il traite une suite de mots. Mais certains mots, certaines situations racontées ou certaines références culturelles peuvent agir comme des signaux statistiques.

L’étude distingue deux mécanismes. Le premier correspond aux fuites démographiques explicites : l’utilisateur indique directement son origine, son appartenance ou une expérience de discrimination. Dans ce cas, l’information est littéralement présente dans le texte. Le second concerne les fuites implicites : un ensemble de formulations, de références ou de contextes peut amener le modèle à associer le message à un groupe démographique, même si l’utilisateur ne se définit pas ainsi.

Cette nuance est essentielle. Une IA ne découvre pas une caractéristique biologique ou une vérité cachée. Elle formule une prédiction à partir de régularités observées dans ses données d’entraînement et dans la conversation en cours. Or ces régularités peuvent refléter des stéréotypes, des représentations simplifiées ou des inégalités historiques.

Dans un échange de santé mentale, cette question devient très concrète. Si un utilisateur mentionne une discrimination, une pression familiale, une expérience de stigmatisation ou un sentiment d’isolement, une réponse pertinente doit tenir compte de ce qu’il raconte sans l’enfermer dans une case ni appliquer des clichés à son expérience.

Une performance globale élevée, mais une empathie inégalement répartie

Le résultat le plus frappant de l’analyse est son contraste. Globalement, les réponses de GPT-4 apparaissent plus empathiques que celles écrites par les internautes comparés. Elles ont été évaluées comme 48 % plus efficaces pour encourager des comportements positifs. Cela peut notamment s’expliquer par la capacité du modèle à produire rapidement une réponse structurée, bienveillante et centrée sur les émotions exprimées.

Mais cette moyenne favorable ne raconte pas toute l’histoire. Les chercheurs relèvent des différences significatives selon les indices raciaux présents dans les messages. Les réponses du chatbot se montrent souvent moins empathiques envers les utilisateurs noirs et asiatiques. Autrement dit, le même système peut être jugé très performant dans l’ensemble tout en offrant un soutien de moindre qualité à certaines personnes.

Ce type d’écart est particulièrement préoccupant parce que l’empathie ne désigne pas seulement un ton aimable. Dans une conversation de soutien, elle renvoie à plusieurs dimensions : reconnaître la souffrance exprimée, éviter de minimiser un problème, répondre avec tact, encourager une démarche constructive et adapter le propos au contexte personnel de l’interlocuteur.

Une formulation polie mais générique peut ainsi sembler utile à première vue, tout en laissant l’utilisateur avec l’impression que son vécu spécifique n’a pas été compris. Pour une personne qui évoque déjà l’exclusion ou la discrimination, ce défaut de reconnaissance peut renforcer le sentiment d’être ignorée.

Pourquoi ce biais est particulièrement sensible en santé mentale

Les chatbots ne remplacent pas un psychologue, un psychiatre ou un service d’urgence. Pourtant, leur disponibilité permanente, leur apparente neutralité et l’absence de jugement humain immédiat peuvent inciter des personnes à s’y confier. Cette accessibilité explique l’intérêt croissant pour les assistants conversationnels dans le soutien émotionnel. Elle accroît aussi leur responsabilité potentielle.

Dans ce contexte, un biais racial ne constitue pas un simple défaut de personnalisation. Il risque d’affecter la qualité du soutien reçu au moment où la personne est la plus vulnérable. Une réponse moins attentive, moins encourageante ou moins adaptée peut décourager une demande d’aide, banaliser une souffrance ou donner l’impression erronée que le chatbot a réellement compris une situation complexe.

La publication d’origine évoque également des incidents graves associés à des échanges avec des chatbots présentés comme psychothérapeutiques. Ces situations rappellent une règle fondamentale : aucun agent conversationnel ne devrait être présenté comme une solution autonome face à une crise psychologique ou suicidaire. Une personne en danger immédiat doit contacter les services d’urgence de son pays, un professionnel de santé ou un proche en mesure d’intervenir.

Ce que cette analyse permet, et ne permet pas, d’affirmer

La comparaison entre des réponses humaines publiées sur Reddit et celles générées par GPT-4 apporte des éléments utiles. Elle ne suffit toutefois pas à conclure que le modèle serait adapté à un usage clinique, ni à prédire exactement le comportement de tous les chatbots dans toutes les situations.

Les échanges étudiés proviennent d’une plateforme particulière, avec ses règles, son public et ses codes de communication. Les réponses humaines qui y sont publiées ne représentent pas nécessairement celles d’un psychologue formé. De même, la qualité d’une réponse de GPT-4 peut varier selon l’instruction reçue, la version du modèle, la formulation du message et les garde-fous ajoutés par l’application qui l’emploie.

L’important est donc de ne pas opposer trop rapidement « les humains » et « l’IA ». L’étude montre plutôt deux choses à la fois : un modèle peut produire un soutien textuel qui paraît souvent utile, et il peut simultanément reproduire des inégalités dans ce soutien. La bonne performance moyenne ne dispense jamais d’examiner les résultats pour les groupes les plus exposés à une qualité dégradée.

Comment réduire les biais dans les réponses des chatbots ?

Les chercheurs soulignent que la manière de structurer les entrées adressées au modèle influence ses réponses. Une piste consiste à donner au système des instructions explicites sur l’usage des attributs démographiques. L’objectif n’est pas d’amener le chatbot à deviner davantage de caractéristiques personnelles, mais de l’empêcher de laisser des suppositions stéréotypées guider la conversation.

Concrètement, les concepteurs peuvent demander au système de respecter plusieurs principes : ne pas inférer une identité quand elle n’est pas exprimée, reconnaître sans minimiser les discriminations relatées, éviter les généralisations sur un groupe, et vérifier que la qualité du soutien demeure comparable lorsque seuls des indices démographiques changent dans un même scénario.

L’évaluation doit aussi se poursuivre après la mise en service. Un modèle peut sembler sûr dans une démonstration, puis produire des réponses problématiques au contact de formulations inattendues. Les tests devraient donc inclure des sous-groupes démographiques variés, des cas de vulnérabilité psychologique et des mécanismes permettant de signaler une réponse inadéquate.

Cette démarche concerne autant les entreprises technologiques que les organisations qui intègrent une IA dans un service d’accompagnement. Un hôpital, une plateforme de santé ou une application de bien-être ne peut pas se contenter d’un bon résultat global. Il doit pouvoir démontrer que son outil ne désavantage pas systématiquement certaines populations.

Ce qu’il faut surveiller avant d’utiliser ces outils

L’analyse publiée en décembre 2024 met en lumière un paradoxe appelé à prendre de l’ampleur : les modèles de langage deviennent plus fluides, plus convaincants et parfois plus rassurants dans leurs formulations, mais cette amélioration ne garantit pas l’équité de leurs réponses. Plus un outil paraît humain, plus les utilisateurs risquent de lui accorder une confiance qu’il n’a pas toujours méritée.

Pour les utilisateurs, quelques repères restent utiles. Un chatbot peut aider à mettre des mots sur une situation, à organiser une question ou à chercher des ressources générales. Il ne doit pas devenir l’unique interlocuteur d’une personne isolée ou en souffrance. En cas de réponse culpabilisante, étrange ou manifestement inadaptée, il faut interrompre l’échange et se tourner vers une aide humaine qualifiée.

Pour les concepteurs, le défi est plus large : il ne suffit pas de rendre une IA chaleureuse en apparence. Il faut mesurer l’équité de cette chaleur, documenter les limites du système, prévoir une orientation claire vers des professionnels et rendre les mécanismes de contrôle réellement opérationnels. Dans les domaines sensibles, la qualité d’un chatbot se juge autant à ce qu’il refuse de prétendre faire qu’à la pertinence de ses réponses.