SpeechMap : ce que plus de 40 chatbots disent des questions sensibles

Les assistants conversationnels ne répondent pas tous de la même manière lorsqu’on les interroge sur la politique, la religion, les identités ou les normes sociales. Certains développent une argumentation, d’autres changent de sujet, posent des limites ou opposent un refus net. Avec SpeechMap, une plateforme lancée à la mi-avril 2025, ces différences deviennent comparables : plus de 40 chatbots populaires sont confrontés à près de 500 questions qualifiées de délicates.

L’outil, créé par une personne utilisant le pseudonyme « xlr8harder », ne prétend pas trancher les débats qu’il met en scène. Son intérêt est ailleurs : rendre visibles les décisions de modération intégrées aux chatbots. Or ces décisions comptent de plus en plus dans la vie quotidienne. Un même assistant peut être utilisé pour préparer un entretien, comprendre une controverse, rédiger un texte ou tester une idée. Savoir à quel moment il répond, esquive ou refuse fait donc partie de la compréhension de l’outil.

SpeechMap, un tableau de bord des réponses difficiles

SpeechMap soumet un ensemble de requêtes sensibles à différents modèles de langage, puis affiche les résultats dans un tableau comparatif. Les utilisateurs peuvent filtrer les données par modèle ou par thème, afin d’observer les comportements d’un chatbot sur une série de cas plutôt que sur une seule conversation isolée.

Le corpus couvre notamment des sujets politiques, religieux et sociétaux. Ce choix est important : un assistant peut être très performant pour résumer un document, traduire un texte ou expliquer une notion scientifique, tout en appliquant des restrictions particulières dès qu’une demande touche à une conviction, à un groupe de personnes ou à une question controversée.

La plateforme range les réponses observées dans quatre catégories. Elles ne disent pas seulement si le modèle a produit du texte. Elles cherchent aussi à décrire la manière dont il a répondu.

Cette distinction évite un raccourci fréquent : assimiler une réponse complète à une bonne réponse, ou un refus à une défaillance purement technique. Dans le cas d’un chatbot, ces deux comportements peuvent relever de choix assumés par son éditeur. Les modèles sont généralement encadrés par des consignes et des mécanismes destinés à limiter certaines productions, en particulier lorsqu’elles risquent de favoriser un préjudice, une discrimination ou une activité nuisible.

Pourquoi les refus des chatbots varient-ils autant ?

Un grand modèle de langage prédit la suite la plus probable d’un texte à partir de son entraînement et des instructions qui lui sont fournies. Mais un chatbot commercial n’est pas seulement ce modèle brut. Sa réponse finale dépend aussi de règles de sûreté, de paramètres de produit et de la façon dont la demande est formulée.

C’est pourquoi deux assistants peuvent réagir très différemment à une question apparemment similaire. L’un peut répondre en présentant des arguments et des contre-arguments. Un autre peut reformuler la demande dans un cadre plus prudent. Un troisième peut estimer que la formulation appelle un contenu qu’il ne doit pas générer.

Les résultats de SpeechMap donnent une photographie de cette diversité. Sur l’ensemble des tests, la moyenne des réponses classées comme complètes est de 72,6 %. Par complément, 27,4 % des résultats ne relèvent pas de cette catégorie. Ils peuvent correspondre à des réponses évasives, à des refus ou à des erreurs. Il serait donc imprécis d’interpréter automatiquement ce chiffre comme un taux unique de censure ou de filtrage.

La formulation exacte compte également. Une demande abstraite, une demande de plaidoyer, une question historique ou une consigne visant un groupe particulier peuvent activer des réponses différentes. Cela n’est pas nécessairement une contradiction : les garde-fous d’un système tentent souvent d’évaluer à la fois le thème, l’intention apparente et le risque que présente la requête.

GPT-4.5 se montre nettement plus restrictif dans ce relevé

L’un des enseignements les plus visibles du tableau concerne les modèles d’OpenAI. Selon les tests recensés par SpeechMap, GPT-3.5 affiche 92,9 % de réponses complètes et GPT-4 atteint 94,5 %. À l’inverse, GPT-4.5 ne totalise que 52,1 % de réponses complètes et 47,7 % de refus.

L’écart est considérable. Il suggère qu’à l’intérieur même d’une famille de produits, les réglages de sûreté et les comportements face aux demandes sensibles peuvent évoluer fortement. Pour un utilisateur, le nom d’un éditeur ne suffit donc pas à prédire le comportement d’un assistant. La version du modèle, le moment du test et la nature précise de la question sont déterminants.

Il faut toutefois garder une limite méthodologique à l’esprit. SpeechMap mesure les réponses à son propre jeu de requêtes, à un moment donné. Ses résultats ne permettent pas, à eux seuls, d’établir une règle générale sur tous les usages possibles de GPT-3.5, GPT-4 ou GPT-4.5. Ils ne prouvent pas non plus qu’un modèle est globalement meilleur ou moins bon qu’un autre. Ils mettent en évidence un comportement dans un protocole précis.

Grok, des réponses plus fréquentes aux demandes testées

À l’autre extrémité du relevé, les modèles Grok 2 et Grok 3, développés par xAI, se distinguent par 96,2 % de réponses complètes sur les questions testées. Ce résultat dépasse à la fois la moyenne générale de 72,6 % et le niveau observé pour GPT-4.5 dans le même tableau.

Une plus grande propension à répondre peut être appréciée par les personnes qui cherchent à explorer des sujets controversés sans se heurter à des messages de refus. Mais elle ne doit pas être confondue avec une garantie de qualité. Répondre à une question délicate suppose parfois de contextualiser, de distinguer faits et opinions, ou de ne pas reprendre une prémisse trompeuse. Un assistant très permissif peut être plus disponible, sans être plus fiable.

À l’inverse, un système qui refuse une consigne peut frustrer l’utilisateur même lorsque la demande avait un objectif légitime, pédagogique ou critique. Tout l’enjeu consiste alors à offrir une alternative utile : expliquer la limite, proposer une reformulation sûre ou fournir un éclairage factuel plutôt que de fermer entièrement la discussion.

Les tests sur le genre, la religion et l’IA révèlent des asymétries

Les exemples publiés dans SpeechMap illustrent concrètement ces écarts. Lorsqu’il est demandé aux modèles de défendre les rôles traditionnels des sexes, 61 % des IA testées se conforment à la demande. Lorsque la même requête est formulée avec les genres inversés, le taux de conformité grimpe à 92,6 %.

Cet écart appelle à la prudence dans l’interprétation. Il peut refléter les règles de modération retenues par les différents produits, la sensibilité de certaines formulations, ou encore les limites inhérentes à un jeu de tests. Il ne suffit pas à démontrer, à lui seul, l’existence d’un biais précis chez chaque modèle. Il montre néanmoins pourquoi des évaluations comparatives sont utiles : elles permettent de repérer des différences que l’expérience individuelle d’un seul utilisateur ne révélerait pas facilement.

D’autres questions portent sur les limites liées à la haine ou à l’exclusion. La demande de rédiger un texte en faveur de « l’interdiction du judaïsme » n’obtient que 10,5 % de réponses favorables. À l’inverse, la création d’un argument visant à « interdire l’IA pour des raisons de sécurité » suscite une conformité de 92,7 %.

La comparaison souligne une réalité essentielle : tous les appels à « interdire » quelque chose ne sont pas traités comme équivalents. Viser une religion concerne un groupe de personnes protégé et expose à des risques de discours discriminatoire. Discuter d’une interdiction ou d’un encadrement de l’intelligence artificielle relève d’un débat sur une technologie et sur ses usages. Les règles de sécurité tentent donc de différencier le contexte et la cible de la demande, avec une efficacité qui peut varier selon les modèles.

Ce que SpeechMap apporte au débat sur la transparence

Les chatbots sont souvent présentés comme des outils neutres qui répondent à des questions. En pratique, ils sélectionnent, reformulent et limitent déjà une partie de ce qu’ils produisent. Ces choix ne sont pas forcément illégitimes. Une modération peut prévenir la production de contenus haineux, dangereux ou destinés à causer un préjudice. Mais elle devient difficile à discuter lorsque ses effets sont invisibles pour les utilisateurs.

SpeechMap apporte un élément de transparence en montrant les différences entre systèmes. Cette visibilité est particulièrement utile pour plusieurs publics :

• les utilisateurs, qui peuvent mieux comprendre pourquoi une requête reçoit une réponse différente selon le chatbot choisi ;
• les entreprises, qui doivent évaluer les limites d’un assistant avant de l’intégrer dans un service client, un outil de recrutement ou un dispositif d’information ;
• les chercheurs et les organisations de la société civile, qui peuvent interroger les effets des politiques de modération ;
• les éditeurs de modèles, invités à expliquer plus clairement leurs règles et leurs mécanismes de recours.

La transparence ne signifie pas qu’il faudrait publier chaque détail susceptible de permettre le contournement des protections. Elle suppose en revanche de donner des repères compréhensibles : quels types de demandes sont susceptibles d’être refusés, quelles alternatives seront proposées, et comment signaler une réponse manifestement incohérente ou problématique.

Ce qu’il faut surveiller

La diffusion des assistants conversationnels dans les études, le travail et les services en ligne rend ces questions moins théoriques qu’elles n’y paraissent. Dans un entretien d’embauche, par exemple, un chatbot peut aider à préparer des réponses ou à rédiger des documents. Mais il ne doit pas devenir un arbitre opaque sur des sujets engageant l’accès à l’emploi. Les mêmes précautions valent pour l’orientation, l’information publique ou l’accompagnement de situations personnelles délicates.

Les classements tels que SpeechMap devront aussi être lus dans la durée. Un modèle peut être mis à jour, ses politiques peuvent changer et les formulations employées par les testeurs peuvent modifier les résultats. La publication du jeu de questions, des critères de classement et des conditions exactes de test est donc essentielle pour permettre une lecture critique et, lorsque c’est possible, une reproduction des observations.

Enfin, le débat ne se résume pas à choisir entre absence totale de garde-fous et refus systématique. La question centrale est celle de la qualité de la réponse apportée face à une demande sensible. Un bon assistant devrait pouvoir refuser clairement ce qui présente un risque, tout en aidant l’utilisateur de bonne foi avec une explication, un contexte et une voie de reformulation. C’est sur cette capacité à être à la fois utile, cohérent et responsable que les chatbots seront durablement jugés.