Claude : les classificateurs constitutionnels font chuter les jailbreaks

Les chatbots les plus avancés ne sont pas seulement évalués sur leur capacité à rédiger, coder ou résumer des documents. Ils le sont aussi sur leur aptitude à ne pas produire d’instructions dangereuses lorsqu’un utilisateur tente de les manipuler. Anthropic affirme avoir franchi une étape importante sur ce terrain avec les classificateurs constitutionnels, un système de protection testé sur Claude 3.5 Sonnet.

Le résultat communiqué est spectaculaire : dans l’évaluation retenue par l’entreprise, 86 % des tentatives de jailbreak aboutissaient lorsque le modèle n’était pas protégé par cette couche. Avec les classificateurs constitutionnels, cette proportion est tombée à 4,4 %. L’écart ne doit pas être interprété comme une garantie absolue de sécurité, mais il illustre l’ampleur du problème auquel les concepteurs de modèles de langage sont confrontés, et l’intérêt d’ajouter plusieurs défenses autour du modèle lui-même.

Qu’est-ce qu’un jailbreak de chatbot ?

Un jailbreak consiste à formuler une demande de manière à amener un assistant à ignorer les règles de sécurité qui lui ont été fixées. Plutôt que de poser frontalement une question interdite ou risquée, l’utilisateur peut chercher à déguiser son intention, à inventer un scénario, à imposer de nouvelles règles fictives ou à demander au modèle de jouer un rôle.

Le but est de faire produire au chatbot des contenus qu’il devrait normalement refuser, par exemple des explications pouvant faciliter une activité illégale ou dangereuse. Les concepteurs de grands modèles de langage, aussi appelés LLM, intègrent déjà des garde-fous dans leurs systèmes. Mais ces garde-fous peuvent être mis à l’épreuve par des formulations inédites, des échanges très longs ou des combinaisons de consignes conçues pour semer la confusion.

Un jailbreak universel est plus préoccupant encore. Il désigne une méthode qui fonctionnerait de façon répétée et sur un grand nombre de demandes, au lieu de n’exploiter qu’une faiblesse ponctuelle. Une telle méthode pourrait être partagée largement et industrialiser le contournement des protections.

Les jailbreaks appartiennent donc à un enjeu plus large de sécurité des IA génératives. Un modèle peut être très performant dans une tâche tout en restant sensible à des instructions adverses. Les équipes de sécurité doivent simultanément réduire les réponses à risque et éviter de transformer l’assistant en outil excessivement prudent, incapable de répondre à des questions parfaitement légitimes.

Le principe des classificateurs constitutionnels

La réponse d’Anthropic repose sur une idée simple dans son principe : placer autour du modèle des systèmes spécialisés dans la détection de contenus problématiques. Ces systèmes sont appelés des classificateurs, car leur rôle est de déterminer si une requête ou une réponse appartient à une catégorie autorisée ou non.

Le terme « constitutionnel » renvoie à la présence d’une constitution, c’est-à-dire d’un ensemble structuré de règles qui définit les catégories de comportements jugés nocifs et celles considérées comme inoffensives. Il ne s’agit pas d’un texte de loi ni d’un document ayant une valeur juridique. C’est un cadre de sécurité destiné à guider l’entraînement des classificateurs.

Concrètement, l’approche annoncée par Anthropic repose sur plusieurs éléments :

• une constitution précisant ce que le système doit détecter et bloquer ;
• la génération de données synthétiques pour entraîner les classificateurs ;
• l’ajout d’exemples de requêtes et de réponses bénignes ;
• des techniques d’augmentation de données, afin d’exposer les classificateurs à davantage de variantes possibles ;
• une surveillance des entrées adressées au modèle et des sorties qu’il produit.

Cette dernière dimension est essentielle. Une protection ne peut pas se limiter à lire la question initiale. Une demande apparemment anodine peut prendre un sens différent au fil d’une conversation, et une réponse peut devenir problématique selon le niveau de détail qu’elle fournit. Examiner les deux côtés de l’échange permet de créer une défense plus complète.

Pourquoi produire des données synthétiques ?

Pour apprendre à reconnaître des jailbreaks, un classificateur a besoin de nombreux exemples : des requêtes qui tentent un contournement, des requêtes inoffensives qui leur ressemblent parfois, et les décisions appropriées à prendre dans chaque cas. Or, les exemples réels de tentatives malveillantes ne couvrent jamais toutes les formulations possibles.

Les données synthétiques servent précisément à élargir ce corpus. Elles permettent de générer un grand nombre de scénarios, de reformulations et de conversations à partir des règles inscrites dans la constitution. Le classificateur peut ainsi apprendre à repérer une intention ou un schéma de contournement, plutôt qu’une poignée de mots-clés facilement évitables.

Cette méthode comporte néanmoins une difficulté : des données créées artificiellement peuvent reproduire les angles morts des règles ou du système qui les génère. L’enjeu n’est donc pas simplement d’accumuler des exemples, mais de construire des évaluations suffisamment variées pour vérifier que la protection résiste à des formulations nouvelles.

Anthropic indique aussi intégrer des entrées et sorties bienveillantes. Cet aspect répond au problème des refus excessifs, parfois appelé surblocage : un assistant trop méfiant pourrait rejeter une demande éducative, professionnelle ou de prévention alors qu’elle ne présente pas de risque. Une sécurité utile doit distinguer les usages nuisibles des usages ordinaires avec le plus de précision possible.

Des résultats très nets dans les tests d’Anthropic

Les chiffres communiqués concernent Claude 3.5 Sonnet et le protocole d’évaluation utilisé par Anthropic. Sans les classificateurs constitutionnels, le modèle a été confronté à des tentatives de jailbreak dont 86 % ont réussi. Après ajout de la protection, le taux de succès est descendu à 4,4 %.

Cette comparaison montre une réduction considérable des contournements dans ce cadre précis. Elle ne permet pas, à elle seule, de conclure que toutes les catégories de risques sont traitées avec la même efficacité, ni que les futurs jailbreaks seront nécessairement arrêtés. En sécurité informatique comme en sécurité de l’IA, les protections sont continuellement soumises à de nouvelles méthodes d’attaque.

Anthropic a également organisé un programme de test avec des utilisateurs et a proposé une récompense de 15 000 dollars à toute personne capable de trouver un jailbreak universel. Selon l’entreprise, plus de 180 participants ont essayé, sans parvenir à obtenir la récompense.

Ce type de mise à l’épreuve est utile, car il confronte un système aux idées d’un grand nombre de personnes extérieures à l’équipe qui l’a conçu. Il ne remplace pas les évaluations indépendantes, mais il constitue un moyen de rechercher activement les failles avant qu’elles ne soient exploitées plus largement.

Une sécurité supplémentaire, pas une permission de baisser la garde

Les classificateurs constitutionnels illustrent une évolution importante des architectures de sécurité. Au lieu de compter uniquement sur le comportement appris par le modèle principal, Anthropic ajoute une couche spécialisée, entraînée pour repérer des contenus ou des comportements précis.

Cette logique est proche de la défense en profondeur utilisée en cybersécurité. Un seul mécanisme peut échouer. En combiner plusieurs réduit la probabilité qu’une même requête traverse tous les contrôles. Pour un chatbot, cela peut inclure l’entraînement initial du modèle, des règles d’usage, des classificateurs, des tests adverses et des mécanismes de surveillance après le déploiement.

Il faut toutefois conserver plusieurs limites en tête :

• un taux de réussite de 4,4 % n’est pas nul ;
• les performances peuvent varier selon le type d’attaque, la langue, le contexte et les outils reliés au modèle ;
• le blocage d’un contenu dangereux peut parfois entraîner le rejet par erreur d’une demande sans risque ;
• un système efficace aujourd’hui peut être contourné demain par de nouvelles stratégies.

La transparence sur les protocoles de test joue aussi un rôle déterminant. Les pourcentages annoncés sont significatifs lorsqu’ils sont accompagnés d’informations sur les scénarios évalués, les critères de réussite et les compromis observés sur les demandes bénignes. Pour les entreprises qui déploient des assistants auprès du public ou de salariés, il est également important de tester les systèmes dans les conditions réelles de leurs usages.

Quels effets pour les utilisateurs et les entreprises ?

Pour le grand public, cette innovation peut se traduire par des échanges plus fiables avec un assistant. Un utilisateur qui pose une question normale ne devrait pas avoir à connaître toute la mécanique de sécurité déployée en arrière-plan. L’objectif est que le chatbot soit utile sur les demandes ordinaires, tout en refusant les sollicitations réellement risquées.

Pour les organisations, la question dépasse le seul risque de contenus dangereux. Un assistant peut être connecté à des documents, à une base de connaissances ou à des outils internes. Un contournement des règles peut alors avoir des conséquences sur la confidentialité, la réputation de l’entreprise ou la qualité des décisions prises avec l’aide de l’IA.

Les classificateurs constitutionnels ne règlent pas à eux seuls la protection des données. Les entreprises doivent toujours contrôler les accès, limiter les informations envoyées aux modèles, définir des autorisations adaptées et former les utilisateurs. Ils peuvent néanmoins devenir un élément pertinent d’une stratégie de sécurité plus large, en réduisant les possibilités de manipulation directe du chatbot.

Cette approche pourrait aussi intéresser d’autres concepteurs d’IA. Le principe d’une politique explicite, traduite en données d’entraînement puis appliquée par des modèles spécialisés, peut être adapté à différents domaines. Son efficacité dépendra toutefois de la qualité des règles retenues, de la diversité des tests et de la capacité à actualiser rapidement le système.

Ce qu’il faut surveiller

À la date de publication, le 17 février 2025, les résultats d’Anthropic marquent une avancée notable dans la lutte contre les jailbreaks de chatbots. Le passage de 86 % à 4,4 % dans les évaluations présentées montre qu’un filtrage entraîné à partir d’une constitution peut renforcer très fortement un modèle de langage face à des tentatives de contournement.

La prochaine question sera celle de la robustesse dans la durée. Les chercheurs en sécurité, les utilisateurs et les attaquants font évoluer rapidement leurs méthodes. Il faudra observer si ces classificateurs maintiennent leurs performances face à de nouveaux jailbreaks, s’ils fonctionnent aussi bien dans des langues et contextes variés, et quel coût ils imposent en rapidité de réponse ou en refus excessifs.

Le défi est finalement double : empêcher les usages nuisibles sans dégrader l’utilité quotidienne des assistants. Les classificateurs constitutionnels proposent une réponse technique concrète à cet équilibre difficile. Ils rappellent surtout qu’à mesure que les modèles deviennent plus capables, leur sécurité doit devenir une composante centrale de leur conception, et non une simple couche ajoutée à la fin.