SASA, une méthode pour aider les LLM à écarter le langage toxique

Les grands modèles de langage savent rédiger, résumer, traduire et dialoguer avec une aisance parfois déroutante. Mais cette fluidité a un revers : entraînés sur de vastes corpus issus notamment d’Internet, ils peuvent aussi reproduire des insultes, des stéréotypes ou des formulations offensantes présentes dans leurs données. Réduire ce risque sans rendre leurs réponses mécaniques est l’un des défis les plus concrets de l’IA générative.

Une équipe associant le MIT et le laboratoire Watson d’IBM propose une piste baptisée self-disciplined autoregressive sampling, ou SASA. Présentée en avril 2025, cette méthode ne consiste pas à refaire l’entraînement coûteux d’un modèle. Elle intervient plutôt au moment même où celui-ci produit une réponse, afin de l’orienter vers des formulations jugées moins toxiques.

Pourquoi les modèles de langage peuvent-ils produire des propos toxiques ?

Un LLM ne raisonne pas comme une personne qui pèse explicitement chaque mot à l’aune d’une règle morale. Son principe de base est statistique : à partir d’une consigne et des mots déjà écrits, il calcule quels éléments de texte ont le plus de chances de venir ensuite. Ces unités de texte sont appelées des tokens. Elles peuvent correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à une courte séquence de caractères.

Pour devenir utiles, ces modèles absorbent des quantités considérables de textes. Or, les données accessibles en ligne contiennent aussi du harcèlement, des préjugés, des discours dégradants et des associations biaisées entre certains groupes et des caractéristiques négatives. Même lorsqu’un système ne cherche pas à produire de tels contenus, une invite ambiguë, provocatrice ou simplement mal formulée peut faire émerger ces régularités apprises.

Les concepteurs de modèles disposent déjà de plusieurs leviers : filtrer les données avant l’entraînement, donner des exemples de réponses souhaitables au modèle, le réentraîner, ajouter des règles de sécurité, ou encore vérifier les réponses avec un système externe. Chacune de ces solutions a ses contreparties.

• Le réentraînement avec des données assainies peut demander beaucoup de calcul et de mémoire.
• Une intervention trop brutale peut dégrader la pertinence, la diversité ou la fluidité de la réponse.
• Un modèle de récompense ou un filtre externe peut alourdir le temps nécessaire pour produire chaque réponse.
• La notion même de toxicité dépend du contexte, de la langue et des critères retenus pour l’évaluer.

SASA ne réentraîne pas le LLM, il modifie la génération

Le mot « former » peut prêter à confusion. SASA n’ajoute pas une nouvelle phase d’entraînement complète au LLM et ne modifie pas ses paramètres. La méthode agit lors de l’inférence, c’est-à-dire quand le modèle est déjà déployé et génère effectivement du texte en réponse à une demande.

Son mécanisme repose sur les représentations internes du modèle. Pendant qu’un LLM traite du texte, il convertit les mots et les phrases en représentations mathématiques, souvent décrites comme des vecteurs dans un espace à très grand nombre de dimensions. Dans cet espace, SASA cherche à établir une frontière entre des zones associées à des formulations toxiques et d’autres associées à des formulations non toxiques.

À chaque étape de la génération, le système évalue la toxicité de la phrase en cours de construction. Il examine les possibilités de continuation et privilégie les tokens situés du côté non toxique de cette frontière. Plus une option paraît éloignée de la ligne de classification dans le bon sens, plus sa probabilité d’être choisie est rehaussée.

L’enjeu est important : au lieu de supprimer après coup une réponse entière ou de bloquer systématiquement certains termes, SASA agit sur la sélection progressive des mots. Le modèle reste donc libre de produire une phrase adaptée à la consigne, mais ses choix sont rééquilibrés avant que la formulation problématique ne se consolide.

Comment fonctionne ce choix de mots en temps réel ?

La génération dite autorégressive est un processus séquentiel. Pour écrire une phrase, le modèle prédit un token, puis s’appuie sur ce token pour prédire le suivant, et ainsi de suite. Une petite orientation au début d’une réponse peut donc modifier toute sa trajectoire.

SASA s’insère à ce moment précis. Le déroulé peut se résumer ainsi :

1. le LLM lit la consigne et le texte déjà généré ;
2. il calcule plusieurs tokens plausibles pour la suite ;
3. SASA estime où se situent ces possibilités par rapport à la frontière entre formulations toxiques et non toxiques ;
4. la méthode augmente la probabilité des options considérées comme plus sûres ;
5. le LLM échantillonne le token suivant, puis recommence l’opération jusqu’à la fin de sa réponse.

Cette approche vise un compromis délicat. Si l’algorithme pénalise trop fortement certaines continuations, le texte peut devenir évasif, répétitif ou perdre sa capacité à répondre à une demande légitime. S’il est trop peu exigeant, la réduction de toxicité devient marginale. Les chercheurs cherchent donc à préserver une qualité de génération acceptable tout en diminuant la fréquence des sorties nuisibles.

Des essais sur trois modèles et RealToxicityPrompts

Pour mesurer l’intérêt de la méthode, les chercheurs l’ont comparée à plusieurs interventions de référence sur trois LLM de tailles croissantes : GPT2-Large, Llama2-7b et Llama 3.1-8b-Instruct. Ce choix permet d’observer le comportement de SASA sur des modèles différents, depuis un modèle plus ancien et compact jusqu’à des modèles plus récents comptant plusieurs milliards de paramètres.

L’évaluation s’appuie notamment sur RealToxicityPrompts, un jeu de données conçu pour tester la propension des modèles à compléter des amorces de texte par des contenus toxiques. Le principe est révélateur : une réponse apparemment anodine peut basculer lorsque l’amorce contient certains mots, évoque un groupe social ou laisse entendre un jugement négatif.

Les résultats rapportés indiquent que SASA réduit significativement la génération de langage toxique, tout en maintenant une qualité de réponse acceptable. Aucune donnée chiffrée détaillée n’est ici fournie pour comparer les méthodes, ce qui invite à éviter les conclusions excessives sur l’ampleur exacte du gain. L’intérêt de l’approche se situe d’abord dans son mode d’action : elle apporte une couche de contrôle sans réentraîner les modèles testés.

Une réduction des biais observée dans les invites étiquetées comme féminines

Les essais ont aussi mis en lumière un biais préoccupant. Avant l’intervention de SASA, les modèles testés produisaient davantage de réponses toxiques lorsque les invites étaient étiquetées comme féminines. La méthode a considérablement réduit ces générations nuisibles.

Ce résultat est particulièrement important, car il rappelle que la toxicité n’est pas seulement une question de grossièreté. Elle peut être liée à des associations discriminatoires et à la manière dont un système répond différemment selon l’identité suggérée par une invite. Dans des assistants conversationnels, des outils éducatifs ou des services clients, ces écarts peuvent affecter directement l’expérience des personnes qui les utilisent.

Il faut néanmoins interpréter ce type de test avec prudence. Une baisse de toxicité dans un jeu de données ne démontre pas, à elle seule, l’absence de biais dans toutes les langues, tous les contextes sociaux ou toutes les situations réelles. Les catégories utilisées pour évaluer les invites et les définitions de la toxicité influencent nécessairement les résultats. La réduction d’un biais mesuré est un progrès, pas une garantie universelle d’équité.

Les limites d’une « purification » du langage

Le terme de purification peut suggérer qu’il existerait un langage objectivement pur, ce qui serait trompeur. Dans la pratique, SASA traduit des critères humains et techniques en une préférence mathématique lors de la génération. Le modèle ne définit pas lui-même les valeurs qu’il doit suivre et ne développe pas une compréhension morale autonome.

Cette précision est essentielle pour trois raisons. D’abord, un système peut éviter une insulte explicite tout en conserver un stéréotype plus subtil. Ensuite, il peut devenir trop prudent et refuser, contourner ou appauvrir une réponse pourtant légitime, par exemple dans un contexte de prévention, de recherche ou de témoignage. Enfin, les classifications de toxicité sont sensibles à la langue : une formulation familière, ironique ou réappropriée par un groupe peut être mal interprétée par un outil automatique.

SASA ne remplace donc ni la qualité des données d’entraînement, ni les consignes de sécurité, ni les tests menés avec des personnes issues de contextes variés. C’est un levier supplémentaire. Son avantage est sa légèreté par rapport à un réentraînement intégral, mais son efficacité dépend de la qualité de la frontière utilisée pour distinguer les zones toxiques et non toxiques.

Les développeurs devront aussi surveiller les effets sur la précision factuelle. Une réponse moins agressive n’est pas nécessairement plus vraie. De même, un système qui semble bien se comporter sur des amorces de benchmark peut rencontrer des difficultés dans une conversation longue, multilingue ou volontairement ambiguë.

Ce qu’il faut surveiller pour l’alignement des LLM

Les chercheurs envisagent d’étendre le principe de SASA à d’autres dimensions que la toxicité, notamment la vérité et l’honnêteté. L’idée serait d’évaluer les générations dans plusieurs sous-espaces, afin d’orienter le texte vers différents objectifs à la fois. C’est une perspective intéressante, mais plus complexe encore que la modération d’un vocabulaire offensant.

La véracité, par exemple, ne se lit pas toujours dans le choix du prochain token. Elle exige souvent de comparer une affirmation avec des connaissances fiables, de reconnaître une incertitude ou de savoir dire « je ne sais pas ». L’honnêteté suppose également de ne pas présenter comme certain ce qui ne l’est pas. Ces comportements nécessitent des évaluations spécifiques, au-delà des seuls scores de toxicité.

À la date du 18 avril 2025, SASA illustre surtout une évolution importante dans la sécurité des LLM : plutôt que de corriger les modèles uniquement avant ou après la génération, il devient possible d’agir pendant qu’ils composent leur réponse. La question déterminante sera de savoir si cette intervention reste efficace sur de nombreux domaines, langues et usages, sans rendre les assistants moins utiles, moins précis ou excessivement prudents.