SASA, la méthode qui aide les modèles de langage à réduire leur toxicité

Les assistants conversationnels donnent souvent l’impression de rédiger comme des humains. Cette aptitude a une contrepartie : entraînés sur de vastes collections de textes publics, les modèles de langage peuvent aussi reproduire les insultes, les stéréotypes et les formulations haineuses qui s’y trouvent. Le défi n’est donc pas seulement de leur apprendre à former des phrases correctes, mais de les empêcher de choisir, au fil d’une réponse, les mots qui font déraper le sens ou blessent leurs interlocuteurs.

Des chercheurs du MIT-IBM Watson AI Lab présentent une approche baptisée self-disciplined autoregressive sampling, ou SASA. Son ambition est précise : réduire la toxicité d’un texte au moment où le modèle le génère, sans réentraîner ce dernier et sans toucher à ses paramètres. Plutôt que de refaire l’éducation complète d’un système, la méthode agit sur son mécanisme de sélection des mots, étape après étape.

Cette proposition s’inscrit dans une question centrale pour les outils fondés sur les grands modèles de langage, ou LLM : comment rendre leurs réponses plus sûres sans les transformer en machines imprécises, répétitives ou incapables d’aborder des sujets sensibles de façon nuancée ?

Pourquoi des modèles de langage peuvent-ils produire des propos toxiques ?

Un LLM apprend en observant d’immenses volumes de textes. Il n’en mémorise pas simplement des phrases : il repère des régularités statistiques et prédit quel mot a le plus de chances de suivre les précédents. C’est ce principe de prédiction qui lui permet de rédiger, résumer, traduire ou répondre à une question.

Mais les corpus accessibles publiquement reflètent aussi les travers des espaces où ils ont été publiés. On y trouve des injures, des discours discriminatoires, des préjugés de genre, des généralisations abusives et des échanges volontairement agressifs. Même lorsqu’un système reçoit une consigne anodine, certaines associations apprises peuvent ressurgir dans la suite d’une phrase.

Le problème dépasse le seul cas d’un mot grossier. Une sortie peut être jugée nocive parce qu’elle véhicule un stéréotype, cible un groupe ou formule une association dégradante. La toxicité dépend donc souvent du contexte, de la personne ou du groupe visé et de l’enchaînement des mots. Il est plus difficile de la détecter qu’un simple terme interdit.

Les concepteurs de LLM disposent déjà de plusieurs moyens d’intervention : filtrer certaines données avant l’entraînement, ajuster ensuite le modèle avec des exemples de comportements souhaitables, ou filtrer ses réponses après leur production. Ces solutions peuvent toutefois demander de nouveaux calculs, des jeux de données annotés, voire un modèle supplémentaire chargé de noter les réponses.

SASA, une intervention au moment du choix des mots

Le nom SASA décrit son fonctionnement. La génération dite autorégressive consiste à produire un texte mot après mot. Après avoir écrit le début d’une phrase, le modèle établit une liste de mots possibles pour la poursuivre, chacun avec une probabilité. Le mot retenu devient alors une partie du contexte utilisé pour choisir le suivant.

SASA intervient exactement à ce stade, appelé phase d’inférence. Il ne change pas les connaissances internes ni les paramètres du LLM. Il modifie la façon dont sont échantillonnés les mots candidats au moment de construire la réponse.

La méthode repose sur une représentation interne du langage, que l’on peut imaginer comme un espace mathématique où des éléments proches partagent certaines caractéristiques. Les chercheurs y distinguent des zones associées à des sorties toxiques et d’autres associées à des sorties non toxiques. Une frontière de classification sert à séparer ces deux sous-espaces.

À chaque étape, SASA ne se contente pas d’examiner le prochain mot isolément. Il tient compte de la phrase partiellement générée, des mots déjà acceptés et des continuations possibles. Il estime alors la position de chaque candidat vis-à-vis de la frontière entre langage toxique et non toxique. Les probabilités d’échantillonnage sont réajustées pour favoriser les options situées du côté non toxique.

L’idée n’est donc pas de supprimer mécaniquement une liste de mots. Dans certains contextes, un même terme peut être employé pour décrire, citer, analyser ou condamner un propos. SASA cherche plutôt à piloter la trajectoire globale de la génération vers une formulation moins susceptible de devenir nocive.

Une méthode qui ne nécessite pas de réentraînement

L’un des intérêts majeurs de SASA est son caractère léger. Les modèles modernes comptent parfois plusieurs milliards de paramètres. Les réentraîner afin de corriger un comportement spécifique peut être coûteux en données, en temps de calcul et en énergie. Une méthode qui agit seulement lors de la génération peut, en théorie, être appliquée à un modèle déjà disponible.

Dans l’approche décrite par le MIT-IBM Watson AI Lab, il n’est pas non plus nécessaire de s’appuyer sur un modèle de récompense externe pendant la génération. SASA exploite sa frontière entre sous-espaces toxiques et non toxiques pour rééquilibrer directement le tirage des mots.

Cette différence est importante. Les méthodes de sécurité ne s’excluent pas forcément les unes les autres, mais elles ne se situent pas au même moment du cycle de vie d’un LLM.

Comment les chercheurs ont-ils évalué SASA ?

Pour mesurer la méthode, les chercheurs l’ont testée avec plusieurs modèles de langage, dont GPT-2 Large et Llama 2 7B. Ces systèmes ont reçu des débuts de phrases à compléter dans un protocole comprenant 25 itérations de génération. L’objectif était de comparer les sorties obtenues avec et sans le mécanisme de décodage SASA.

La toxicité des textes générés a notamment été évaluée à l’aide de Perspective API, un système de notation qui attribue des scores à des contenus selon leur caractère potentiellement toxique. Les chercheurs ont ainsi pu observer le taux de phrases problématiques ainsi que les scores de toxicité maximaux, plutôt que de se fier à une appréciation purement subjective.

Selon leurs résultats, SASA réduit de manière significative les phrases toxiques générées tout en maintenant une fluidité jugée acceptable. Cette dernière précision compte : une méthode de filtrage peut certes empêcher certains dérapages, mais perdre son intérêt si elle rend les réponses incohérentes, trop vagues ou grammaticalement dégradées.

La recherche met justement en évidence ce compromis. Plus un système évite agressivement certaines continuations, plus il peut s’éloigner des formulations les plus naturelles prédites par le modèle d’origine. La qualité d’une méthode de détoxification ne se mesure donc pas à un seul indicateur. Elle suppose d’examiner à la fois la sécurité, la pertinence, la cohérence et la diversité des réponses.

Des résultats sur les biais de genre

La toxicité ne se répartit pas toujours de façon uniforme selon les formulations proposées au modèle. Les systèmes de langage peuvent, par exemple, répondre de manière plus nocive à certains prompts associés au féminin. Ce déséquilibre ne signifie pas qu’un mot ou une identité serait intrinsèquement problématique : il révèle les associations statistiques et les stéréotypes présents dans les données d’entraînement.

Les expériences rapportées indiquent que SASA a montré des résultats prometteurs pour atténuer ces biais de genre. Une diminution observable des réponses nocives a été relevée dans le cas de prompts associés au féminin. Les chercheurs ont également utilisé le jeu de données BOLD, conçu pour étudier les biais dans la génération de texte ouverte, afin d’examiner la capacité de la méthode à s’appliquer au-delà d’un seul ensemble de formulations.

Ce résultat est utile, mais il demande une lecture prudente. Diminuer une métrique de toxicité ne suffit pas à garantir l’équité dans toutes les situations. Un système peut éviter les insultes explicites tout en continuant à produire des descriptions stéréotypées, à invisibiliser certains groupes ou à refuser de répondre de façon inégale selon le sujet. L’évaluation doit donc associer des mesures automatiques à des analyses qualitatives et à des scénarios variés.

Pourquoi la frontière entre acceptable et toxique reste délicate

Toute technique de modération encode nécessairement une définition de ce qu’elle cherche à limiter. Or la langue est faite de nuances. Une œuvre, un témoignage, une recherche historique ou une discussion sur les discriminations peuvent contenir des expressions choquantes sans les promouvoir. À l’inverse, une phrase dépourvue d’insulte peut transmettre une idée profondément dégradante.

SASA apporte une réponse technique à ce problème en analysant le contexte de la génération et sa position dans un espace de représentation. Mais la qualité de cette frontière dépend du classifieur et des données qui ont servi à la définir. Si ces éléments sont incomplets, ils risquent de mal interpréter certaines formes d’ironie, des usages militants, des dialectes, ou des références culturelles.

Il existe aussi un enjeu de transparence. Pour les utilisateurs, un assistant plus sûr est souhaitable. Toutefois, une réponse réorientée par un mécanisme de sécurité ne devrait pas masquer une information légitime ou produire une reformulation qui déforme le sujet. Le bon objectif n’est pas une parole artificiellement aseptisée, mais une génération capable de rester utile, factuelle et respectueuse.

Au-delà de la toxicité : vers plusieurs valeurs à la fois

Les chercheurs envisagent d’étendre le principe de SASA à d’autres valeurs humaines, notamment la vérité et l’utilité. Sur le papier, la logique est la même : identifier, dans les représentations internes, des sous-espaces liés à l’attribut recherché, puis favoriser les continuations qui s’en rapprochent pendant la génération.

La perspective est séduisante, car les défauts des LLM ne se limitent pas aux propos toxiques. Ils peuvent aussi inventer des informations, répondre de manière hors sujet ou privilégier une formulation convaincante au détriment de l’exactitude. Une intervention au stade du décodage pourrait compléter d’autres garde-fous.

Mais ces valeurs peuvent entrer en tension. Une réponse très prudente peut devenir moins utile. Une réponse concise peut omettre des nuances nécessaires à la véracité. La définition même de l’utilité varie selon la demande et l’utilisateur. Mettre en œuvre plusieurs contraintes suppose donc de pouvoir les mesurer de façon robuste, de les arbitrer explicitement et de vérifier que l’amélioration sur un critère ne détériore pas fortement les autres.

Ce qu’il faut surveiller

SASA illustre une évolution importante de la sécurité des modèles de langage : plutôt que de considérer l’entraînement comme l’unique moment où l’on peut agir, les chercheurs explorent un contrôle plus fin de la réponse au moment où elle prend forme. Cette approche peut être particulièrement intéressante lorsque réentraîner un grand modèle est difficile ou lorsque les exigences de sécurité diffèrent selon les contextes d’utilisation.

Les prochaines évaluations devront cependant dépasser les seuls tests sur des prompts et des scores automatisés. Il faudra vérifier la robustesse de la méthode face à des formulations ambiguës, des tentatives de contournement, des usages multilingues et des contextes culturels variés. Il faudra aussi mesurer précisément son effet sur la qualité pratique des réponses.

Pour les équipes qui déploient des assistants, la leçon est claire : la modération ne peut pas reposer sur une solution unique. Le filtrage des données, les réglages du modèle, les garde-fous au moment de la génération, les voies de signalement et l’évaluation humaine répondent à des risques différents. SASA apporte une piste prometteuse dans cet ensemble, en tentant de faire pencher chaque choix de mot vers des réponses moins nocives sans refaire entièrement le modèle.