Des données filtrées pour rendre les modèles d’IA ouverts plus difficiles à détourner

Les garde-fous visibles d’un assistant conversationnel, tels que le refus de répondre à certaines demandes, ne constituent pas la seule ligne de défense possible. Une étude publiée sur arXiv propose d’agir bien plus tôt, au moment où un modèle de langage apprend à prédire et produire du texte. Son idée est simple dans son principe, mais exigeante dans sa mise en œuvre : retirer des données d’entraînement les contenus susceptibles de conférer des capacités dangereuses.

Les auteurs, issus de l’Université d’Oxford, d’EleutherAI et de l’UK AI Security Institute, ont appliqué cette approche à des modèles de langage à poids ouverts. Dans leur travail, intitulé Deep Ignorance: Filtering pretraining data builds tamper-resistant safeguards into open-weight LLMs, ils concluent qu’un filtrage ciblé peut rendre des protections plus résistantes aux tentatives de contournement ultérieures, sans sacrifier les résultats généraux du modèle sur les tâches standards testées.

L’enjeu dépasse la seule conception d’un chatbot prudent. Lorsqu’un modèle est diffusé avec ses poids, c’est-à-dire les paramètres numériques acquis pendant l’entraînement, d’autres acteurs peuvent l’installer, le modifier et le redistribuer. Cela apporte de la transparence et stimule la recherche, mais limite aussi la capacité du développeur initial à corriger ou retirer un système une fois qu’il circule.

Pourquoi les modèles à poids ouverts posent-ils un défi particulier ?

Un modèle à poids ouverts rend accessibles les paramètres qui déterminent son comportement. Des chercheurs, des entreprises, des associations ou des développeurs indépendants peuvent ainsi l’examiner, l’adapter à une langue ou à un métier, et l’exécuter sur leur propre infrastructure. Cette disponibilité favorise l’audit scientifique, la reproductibilité des travaux et une concurrence moins concentrée entre quelques grands fournisseurs.

Il faut toutefois distinguer les termes. Un modèle « à poids ouverts » n’est pas forcément intégralement open source : les données d’entraînement, le code, les méthodes de filtrage ou les conditions de licence ne sont pas nécessairement tous publics. Mais l’accès aux poids suffit à permettre de nombreuses modifications, notamment un réentraînement complémentaire, souvent appelé affinage.

Cette propriété soulève une difficulté de sécurité très concrète. Les protections d’un service en ligne peuvent être modifiées par son opérateur. À l’inverse, un modèle téléchargé ne peut pas être rappelé de la même manière. Un utilisateur déterminé peut tenter de le réentraîner afin de réduire ses refus ou de modifier ses priorités.

Les lancements récents de modèles tels que Kimi-K2, GLM-4.5 et gpt-oss illustrent l’accélération du secteur. Les capacités des modèles ouverts progressent rapidement et se rapprochent de celles de modèles fermés datant seulement de six à douze mois. Plus ces outils deviennent polyvalents, plus la question de leur diffusion responsable devient centrale.

Le principe : ne pas transmettre certaines connaissances dès l’entraînement

La plupart des protections associées aux assistants d’IA sont mises en place après le préentraînement. Une fois le modèle nourri d’une immense quantité de textes, les concepteurs ajoutent des consignes, des exemples de réponses souhaitables et des mécanismes de refus. Ces protections peuvent être utiles, mais elles interviennent après que le modèle a déjà assimilé les informations présentes dans ses données.

L’approche étudiée par l’équipe inverse cette logique. Au lieu de tenter seulement de dissuader le modèle d’utiliser des connaissances indésirables, elle vise à réduire son exposition à ces connaissances en amont. Les chercheurs se sont notamment intéressés à des contenus associés à des risques biologiques élevés, un domaine où une assistance technique inappropriée pourrait présenter des conséquences graves.

Le mot « ignorance » employé dans le titre de l’étude doit donc être compris comme une propriété recherchée : le système ne devrait pas simplement refuser une demande sensible, il devrait avoir été moins susceptible d’acquérir les éléments de connaissance permettant d’y répondre de manière dangereuse.

Comment les chercheurs ont-ils filtré les données ?

L’équipe a mis au point un pipeline en plusieurs étapes. La première s’appuie sur des listes de mots-clés bloqués. Cette méthode est directe, mais possède une faiblesse connue : un même mot peut apparaître dans un contexte inoffensif, tandis qu’un texte problématique peut éviter les formulations attendues.

C’est pourquoi les chercheurs l’ont complétée par un classificateur de machine learning. Ce système est chargé d’évaluer le contenu des documents et de repérer ceux qui présentent un niveau de risque élevé. L’association de ces deux outils vise à faire mieux qu’une simple recherche lexicale, en tenant compte du contexte général des textes.

Selon l’étude, ce filtrage a conduit à éliminer environ 8 à 9 % des données considérées pour l’entraînement. C’est une proportion importante : retirer trop peu de documents risquerait de laisser passer les informations ciblées, mais retirer trop de contenus pourrait appauvrir le modèle, créer des angles morts ou nuire à ses performances générales.

Les résultats rapportés indiquent toutefois que les modèles entraînés sur les données filtrées conservent des performances comparables à celles de modèles non filtrés dans les tâches standards évaluées. Autrement dit, filtrer une part limitée mais ciblée du corpus ne les aurait pas empêchés de conserver leur utilité générale en matière de langage.

Des protections pensées pour résister au réentraînement

Le point le plus marquant de l’étude ne réside pas uniquement dans l’amélioration immédiate des réponses produites par le modèle. Les chercheurs ont aussi évalué ce qui se passe lorsqu’un tiers tente de le modifier ultérieurement. C’est un test essentiel pour les modèles à poids ouverts : un garde-fou qui disparaît au premier affinage ne répond qu’imparfaitement au problème posé.

D’après leurs résultats, le fait d’avoir retiré les connaissances indésirables dès le préentraînement limite l’acquisition de capacités dangereuses, y compris après des tentatives de réentraînement malveillant. Le modèle filtré ne serait donc pas seulement plus prudent par instruction : il disposerait de moins de matière initiale sur laquelle s’appuyer pour développer ces capacités ciblées.

Cette conclusion doit être interprétée avec précision. L’étude ne prétend pas créer un modèle invulnérable, ni éliminer tous les risques associés à l’IA ouverte. Un système peut toujours être associé à des outils externes, recevoir de nouvelles données ou être remplacé par un autre modèle. La filtration constitue une couche de sécurité, pas une garantie absolue.

Pourquoi cette piste change le débat sur la sécurité de l’IA

La publication intervient alors que les discussions sur la gouvernance de l’IA portent de plus en plus sur les modèles les plus capables et sur les risques de détournement. Des entreprises comme OpenAI et Anthropic ont récemment publié des travaux exprimant des préoccupations quant aux menaces potentielles liées aux systèmes avancés. Les gouvernements s’interrogent aussi sur les garanties attendues avant la diffusion de modèles qui ne pourront plus être contrôlés directement par leur créateur.

Dans ce contexte, le filtrage des données offre une option intéressante aux développeurs. Il ne repose pas sur la fermeture complète des modèles, ni sur la seule promesse que les utilisateurs respecteront des règles. Il cherche plutôt à intégrer une limite technique dans le processus de construction même du système.

Cette stratégie peut également intéresser les régulateurs, mais elle ne se traduit pas automatiquement par une règle simple. Définir quelles informations doivent être exclues exige une expertise scientifique, juridique et éthique. Un filtrage trop large risquerait d’empêcher des travaux légitimes dans des domaines sensibles, tels que la santé, la biosécurité ou la recherche universitaire. Un filtrage trop étroit laisserait subsister les capacités que l’on cherche à limiter.

La transparence représente un autre enjeu. Pour évaluer une telle méthode, la communauté scientifique doit pouvoir comprendre les critères de sélection, les performances du classificateur et les effets secondaires possibles. Sans cet examen, il est difficile de savoir si un modèle est réellement plus sûr ou s’il donne seulement l’impression de l’être.

Les limites d’un filtrage avant entraînement

Le filtrage de données n’est jamais parfait. Les contenus à risque ne se présentent pas tous sous une forme identique, et le contexte compte énormément. Un document peut employer un vocabulaire sensible pour informer, prévenir ou enseigner, sans fournir de savoir directement exploitable à mauvais escient. À l’inverse, des formulations anodines peuvent parfois réunies avec d’autres éléments produire un effet problématique.

Les chercheurs doivent donc arbitrer entre plusieurs objectifs : précision du filtrage, conservation de la diversité des connaissances, performances linguistiques et résistance réelle aux manipulations. Le chiffre de 8 à 9 % de données supprimées dans cette étude ne constitue pas un seuil universel. Il dépend du corpus étudié, des catégories de risques retenues et des outils utilisés pour classer les documents.

Il faut aussi prendre en compte le caractère évolutif des risques. Les domaines sensibles, les capacités des modèles et les méthodes de contournement changent. Un pipeline efficace à un instant donné devra être évalué, actualisé et confronté à de nouveaux tests. La sécurité ne peut pas se résumer à une opération unique réalisée avant la publication.

Enfin, la performance mesurée sur des tâches standards est un indicateur nécessaire, mais pas suffisant. Un modèle peut conserver de bons résultats généraux tout en affichant des lacunes dans des disciplines dont les données ont été fortement filtrées. Ces compromis doivent être documentés clairement afin que les utilisateurs sachent ce que le système sait faire, mais aussi ce qu’il ne doit pas être utilisé pour faire.

Ce qu’il faut surveiller

L’étude d’Oxford, d’EleutherAI et de l’UK AI Security Institute ouvre une voie concrète : faire de la sélection des données une composante à part entière de la sûreté des modèles ouverts. Ses résultats suggèrent qu’il est possible de réduire certains risques sans dégrader, dans les évaluations menées, les compétences générales du modèle.

La prochaine étape sera de vérifier la reproductibilité de cette approche sur des modèles plus vastes, d’autres corpus et d’autres catégories de risques. Il faudra aussi comparer cette méthode avec les protections ajoutées après entraînement, et surtout étudier la manière dont les deux peuvent se compléter. Les garde-fous de dialogue, les contrôles d’accès, les tests de sécurité et la gouvernance humaine ne deviennent pas inutiles parce que les données sont filtrées.

Pour l’écosystème de l’IA ouverte, l’enjeu est de taille. Si des protections techniques résistent mieux aux modifications sans brider les usages légitimes, elles pourraient contribuer à préserver les avantages de l’ouverture tout en abaissant le risque d’une diffusion non maîtrisée. La promesse est importante, mais elle dépendra de validations indépendantes, de méthodes transparentes et d’une définition rigoureuse de ce que l’on cherche réellement à empêcher.