Fuites dans les LLM : pourquoi les tests de confidentialité pourraient se tromper

Les grands modèles de langage peuvent-ils révéler les textes sur lesquels ils ont été entraînés ? La question est centrale pour les entreprises qui les déploient, les personnes dont les données pourraient se trouver dans leurs corpus et les chercheurs qui tentent d’évaluer leur sûreté. Mais encore faut-il disposer des bons instruments de mesure. Une étude évoquée en novembre 2024 remet en cause la fiabilité de tests très employés pour détecter une possible exposition des données d’entraînement.

Le travail, auquel a notamment participé David Evans, spécialiste de la sécurité informatique à l’Université de Virginie, porte sur les attaques par inférence d’appartenance, connues sous le sigle anglais MIA pour membership inference attacks. Ces méthodes sont souvent présentées comme un moyen de déterminer si un exemple précis a été vu par un modèle lors de son entraînement. Or, selon l’évaluation publiée sous forme de prépublication scientifique, elles peuvent dans plusieurs configurations faire à peine mieux qu’un tirage au sort.

Ce résultat ne veut pas dire que les modèles de langage ne présentent aucun risque de fuite. Il signifie quelque chose de plus précis, et de tout aussi important : un test utilisé pour quantifier un risque peut lui-même être mal calibré. Confondre l’absence de signal détecté avec l’absence de danger, ou à l’inverse prendre un signal incertain pour une preuve, peut conduire à de mauvaises décisions de sécurité.

De quoi parle-t-on lorsqu’on évoque une fuite dans un LLM ?

Un modèle de langage de grande taille, ou LLM, apprend des régularités statistiques à partir de très vastes collections de textes. Ces corpus peuvent inclure des pages encyclopédiques, des livres, du code informatique, des articles, des documents techniques ou des brevets. The Pile, le jeu de données utilisé dans cette étude, a par exemple été publié par le collectif de recherche EleutherAI et rassemble des sources variées, dont Wikipédia et des brevets.

À l’issue de l’entraînement, le modèle ne conserve pas une base de données classique dans laquelle chaque document pourrait être retrouvé par un simple mot-clé. Il ajuste des milliards de paramètres pour prédire la suite la plus probable d’un texte. Cette distinction est essentielle : un modèle peut produire une information présente dans de nombreuses sources sans que cela établisse qu’il a mémorisé un document particulier.

Pour autant, la mémorisation existe. Lorsqu’un passage rare, répété ou très distinctif est fortement reproduit après une requête bien choisie, le risque de divulgation devient concret. Il peut concerner des données personnelles, un contenu confidentiel, du code propriétaire ou une œuvre protégée. La difficulté consiste à distinguer rigoureusement trois phénomènes différents :

• la connaissance générale apprise à partir d’informations largement disponibles ;
• la capacité à reformuler un contenu proche de nombreuses sources ;
• la mémorisation d’un exemple identifiable issu du corpus d’entraînement.

Comment fonctionne une attaque par inférence d’appartenance ?

Le principe d’une MIA est intuitif. L’attaquant soumet au modèle un texte candidat, ou l’interroge à son sujet, puis observe la manière dont le système réagit. Si le modèle semble particulièrement sûr de lui, prédit le texte avec une précision inhabituelle ou lui attribue une probabilité élevée, l’attaque peut conclure que ce texte a probablement fait partie des données d’entraînement.

L’hypothèse sous-jacente est qu’un modèle serait, en moyenne, plus à l’aise avec les exemples qu’il a déjà rencontrés. Cette idée a rendu les MIAs attractives : elles paraissent permettre d’évaluer la confidentialité d’un modèle sans accéder à tous ses paramètres internes ni connaître l’intégralité de son corpus.

Mais une telle évaluation nécessite un point de comparaison fiable. Pour savoir si le modèle traite un texte comme une donnée d’entraînement, il faut aussi disposer de textes comparables qui n’en font pas partie. C’est ici que le raisonnement devient fragile pour le langage naturel.

Pourquoi le langage rend la comparaison si difficile

Dans une base de données structurée, une entrée peut souvent être clairement séparée des autres. Un numéro de dossier, une transaction ou une image donnée peut être identifié de façon relativement nette. Avec le texte, les frontières sont beaucoup plus poreuses.

Deux passages peuvent exprimer la même idée avec quelques mots différents. Un extrait peut avoir été recopié dans plusieurs publications. Une phrase absente d’un corpus peut être presque identique à une phrase qui s’y trouve. À l’inverse, la suppression ou le changement d’un détail infime peut faire basculer le texte dans la catégorie des non-membres, sans changer ce que le modèle est capable de prédire à son sujet.

C’est le problème souligné par David Evans et ses collègues : il est difficile de définir un ensemble représentatif de non-membres. Or, si les textes choisis pour représenter les non-membres sont trop différents des exemples d’entraînement, l’attaque risque de détecter une différence de thème, de qualité rédactionnelle, de longueur ou de fréquence plutôt qu’une véritable mémorisation.

Prenons un exemple simple. Un modèle entraîné sur de nombreux brevets connaîtra très bien les formulations juridiques et techniques fréquentes dans ce domaine. Face à un brevet absent du corpus, il pourra donc rester très performant. Face à un texte d’un registre totalement différent, il sera peut-être moins à l’aise. Une MIA mal conçue pourrait interpréter cet écart comme la preuve d’une appartenance, alors qu’elle mesure seulement la familiarité du modèle avec un style d’écriture.

Cinq méthodes courantes testées sur The Pile

Les chercheurs ont procédé à une évaluation à grande échelle de cinq MIAs couramment utilisées. Les modèles examinés avaient été entraînés sur The Pile, ce qui permettait de connaître le statut de certains éléments de données et de tester les attaques dans un cadre contrôlé.

Le constat est préoccupant pour les spécialistes de l’audit : dans différents scénarios et pour différentes tailles de modèles de langage, les performances observées pouvaient être comparables à celles du hasard. Autrement dit, les méthodes n’étaient pas toujours capables de distinguer de façon fiable les textes appartenant aux données d’entraînement des autres textes.

Il faut lire ce résultat avec précision. Il ne prouve pas qu’aucune attaque par inférence d’appartenance ne puisse fonctionner, ni qu’aucun LLM ne mémorise de contenu. Il montre que les protocoles habituels, lorsqu’ils reposent sur des comparaisons mal définies, peuvent fournir une image trompeuse de la situation.

Un faible risque moyen ne supprime pas les cas problématiques

L’étude relève que les enregistrements individuels issus des données de pré-entraînement peuvent présenter un faible risque d’inférence. Cette observation s’explique notamment par l’échelle des corpus : dans un ensemble immense, un texte donné n’est souvent présenté qu’un nombre limité de fois au modèle. Il est donc moins susceptible de laisser une trace nettement détectable qu’un élément rare et répété.

Cette moyenne ne doit cependant pas devenir une garantie générale. Les conséquences d’une fuite ne dépendent pas seulement de sa probabilité, mais aussi de la sensibilité de l’information concernée. Un unique document confidentiel, une donnée personnelle ou un extrait de code non public peut poser problème même si, statistiquement, les occurrences de mémorisation sont peu nombreuses.

Les LLM apportent aussi une dimension interactive. Un utilisateur peut multiplier les requêtes, reformuler ses demandes et exploiter les réponses précédentes pour essayer d’obtenir davantage d’informations. Cette possibilité rend l’évaluation plus complexe qu’un test unique sur une liste fixe d’exemples. Les chercheurs estiment ainsi que de nouvelles formes d’attaques, plus robustes, pourraient apparaître à mesure que les modèles et les interfaces évoluent.

MIMIR, un outil pour mieux évaluer les risques

Face à ces limites, les auteurs ont développé MIMIR, un outil de test open source. Son objectif est d’offrir un cadre plus rigoureux pour étudier l’inférence d’appartenance dans les modèles de langage. L’enjeu n’est pas de produire un label simpliste, du type « sûr » ou « dangereux », mais de permettre à la communauté scientifique de comparer les méthodes dans des conditions contrôlées.

Cette démarche est utile à plusieurs niveaux. Pour les chercheurs, elle aide à identifier les biais introduits par les jeux de données et les mesures de performance. Pour les développeurs de modèles, elle rappelle que les audits de confidentialité doivent être interprétés avec prudence. Pour les organisations qui intègrent des LLM dans leurs produits, elle souligne l’importance de maîtriser la provenance des données utilisées avant et pendant l’entraînement.

Une évaluation solide devrait notamment prendre en compte la diversité des textes, les variations de formulation, la rareté d’un contenu, son éventuelle répétition dans le corpus et les modalités concrètes d’accès au modèle. Un audit qui ne testerait qu’un seul type de document ou qu’une seule méthode d’attaque risquerait de ne révéler qu’une partie du problème.

Ce que les développeurs doivent retenir pour la protection des données

Cette étude ne fournit pas de recette unique pour empêcher les fuites. Elle invite plutôt à adopter une approche de sécurité moins mécanique. Une entreprise ne devrait pas considérer un résultat positif ou négatif d’inférence d’appartenance comme une preuve définitive que ses données sont protégées ou exposées.

La première ligne de défense reste la gouvernance des données : savoir quelles informations ont été collectées, dans quelles conditions elles peuvent être utilisées et si elles contiennent des éléments sensibles. Les erreurs de collecte, de comptabilisation des données ou de traçabilité peuvent compliquer tout audit ultérieur, même avec de bons outils techniques.

Il est également utile de multiplier les angles d’évaluation : tests de mémorisation, analyses de reproduction de passages, simulations d’interactions répétées et contrôles de la qualité des corpus. Ces approches ne sont pas interchangeables. Chacune éclaire une facette particulière du risque.

Ce qu’il faut surveiller

En novembre 2024, la recherche sur la confidentialité des LLM reste donc à un stade de maturation. Les attaques par inférence d’appartenance ont fourni un cadre de travail précieux, mais l’étude de David Evans et de ses collègues montre qu’elles ne doivent pas être utilisées sans examen critique de leurs hypothèses.

La question décisive n’est pas seulement de savoir si un modèle a vu une phrase donnée. Il faut aussi comprendre ce qu’un utilisateur peut réellement en déduire, dans quelles conditions et avec quelle fiabilité. Les futurs travaux devront améliorer la sélection des non-membres, tester des scénarios d’attaque plus réalistes et relier davantage les résultats statistiques aux risques concrets pour les personnes et les organisations.

Pour les utilisateurs comme pour les concepteurs, la leçon est claire : la protection des données dans les modèles de langage ne se résume pas à un seul score de sécurité. Mesurer correctement le risque est déjà une condition indispensable pour pouvoir le réduire.