Faire oublier des données à l’IA : la piste du « black-box forgetting »

Un modèle d’intelligence artificielle apprend généralement à reconnaître ou à produire toujours plus d’informations. Mais que faire lorsqu’une partie de ce qu’il a appris devient inutile, inadaptée ou sensible ? Des chercheurs de la Tokyo University of Science, au Japon, proposent de prendre le problème à rebours : apprendre à une IA à oublier de façon ciblée, même lorsque son fonctionnement interne n’est pas accessible.

Leur méthode, baptisée « black-box forgetting », a été expérimentée sur CLIP, un modèle capable de relier des images et des descriptions en langage naturel. L’enjeu dépasse la seule performance technique. À mesure que les modèles généralisés s’installent dans les outils professionnels et personnels, la possibilité de restreindre leurs compétences à un usage précis devient une question de sobriété informatique, de contrôle des données et de vie privée.

Pourquoi une IA aurait-elle besoin d’oublier ?

Les grands modèles préentraînés sont conçus pour être polyvalents. Ils absorbent de très grands volumes de données, puis peuvent être mobilisés pour une grande diversité de tâches. ChatGPT illustre cette logique dans le texte. CLIP, de son côté, associe des images à des mots ou à des phrases afin, notamment, de les classer.

Cette polyvalence est précieuse, mais elle a un coût. Entraîner un grand modèle, puis l’exécuter, réclame des ressources de calcul, du temps et de l’énergie. Le matériel nécessaire est également plus coûteux que celui d’un ordinateur standard. Surtout, un modèle entraîné pour répondre à de très nombreux cas de figure n’est pas nécessairement le plus pertinent lorsqu’il doit résoudre une tâche étroitement définie.

Le professeur associé Go Irie, qui a dirigé les travaux, prend l’exemple de la conduite autonome. Dans un système de reconnaissance d’objets embarqué dans un véhicule, les catégories les plus importantes peuvent être les voitures, les piétons et les panneaux de signalisation. Le modèle n’a pas forcément besoin de conserver avec la même importance toutes les autres catégories qu’il sait reconnaître.

Selon cette logique, maintenir des classes inutiles peut mobiliser des ressources sans bénéfice direct et, dans certains cas, nuire à la précision attendue pour une tâche particulière. L’« oubli sélectif » consiste donc à retirer, ou du moins à atténuer, certaines capacités de classification afin de recentrer le système sur le besoin réel.

Le problème des modèles dont le code est inaccessible

L’oubli machine, parfois appelé désapprentissage machine, est plus facile à concevoir lorsque les équipes peuvent examiner et modifier l’intérieur d’un modèle : ses paramètres, son architecture ou les données utilisées pour son entraînement. Ce type d’approche est qualifié de « white-box », littéralement de boîte blanche, car les mécanismes internes sont visibles.

Dans la pratique, de nombreuses entreprises et organisations utilisent toutefois des systèmes fermés. Elles peuvent interagir avec le modèle par une interface ou une API, lui envoyer des consignes et recevoir une réponse, sans pouvoir consulter ses paramètres. Il s’agit alors d’un système « black-box », une boîte noire.

Cette situation est courante avec les modèles commerciaux, mais elle peut aussi se rencontrer lorsque des contraintes de propriété intellectuelle, de sécurité ou de gouvernance empêchent l’accès au système. Les techniques traditionnelles d’oubli, qui supposent de modifier directement le modèle, ne sont alors pas applicables.

C’est précisément le point de départ des chercheurs de la Tokyo University of Science. Aux côtés de Go Irie, les travaux associent Yusuke Kuwana et Yuta Goto, de la TUS, ainsi que le docteur Takashi Shibata, de NEC Corporation. Leur ambition : faire évoluer le comportement d’un modèle à partir de ses seules entrées et sorties, sans ouvrir la boîte noire.

Comment fonctionne le « black-box forgetting » ?

La méthode ne réécrit pas directement les paramètres de CLIP. Elle modifie plutôt, de façon itérative, les instructions textuelles fournies au modèle. CLIP est un bon terrain d’essai, car il compare des représentations d’images et de textes : une image peut être associée à une catégorie selon la proximité entre ce qu’il « comprend » de l’image et la formulation proposée.

L’équipe s’appuie sur une famille de méthodes appelée optimisation sans dérivée. L’idée est de chercher progressivement de meilleures solutions sans devoir connaître les mécanismes mathématiques internes du modèle ni calculer comment chaque paramètre influe sur le résultat.

Pour cela, les chercheurs utilisent CMA-ES, pour Covariance Matrix Adaptation Evolution Strategy. Cet algorithme évolutif génère et évalue des candidats de manière répétée, puis oriente la recherche vers les solutions les plus prometteuses. Appliqué ici, il permet d’ajuster les instructions textuelles de façon à réduire l’aptitude de CLIP à classer certaines catégories d’images.

Autrement dit, au lieu de retirer directement une capacité au modèle, la méthode cherche un contexte d’instructions qui l’amène à ne plus privilégier les classes que l’on souhaite oublier. Le modèle reste fermé, mais son comportement observable est modifié.

Les premiers essais ont révélé une difficulté importante : les techniques d’optimisation existantes perdaient en efficacité lorsque le nombre de catégories à faire oublier augmentait. L’équipe a donc proposé une stratégie de paramétrisation baptisée « latent context sharing ».

Le contexte latent désigne ici l’information générée à partir des instructions adressées au modèle. La nouvelle stratégie le segmente en éléments plus faciles à gérer, afin de mieux répartir le travail d’optimisation entre plusieurs classes ciblées. Cette étape est essentielle : une méthode utile en conditions réelles doit pouvoir aller au-delà d’une ou deux catégories isolées.

Quels résultats ont été obtenus sur CLIP ?

Les chercheurs ont évalué leur approche sur plusieurs jeux de données de classification d’images. D’après leurs essais, le procédé a permis à CLIP d’oublier environ 40 % des classes cibles, sans aucun accès à l’architecture interne du modèle.

Ce chiffre mérite d’être lu avec précision. Il ne signifie pas que le modèle a effacé 40 % de l’ensemble de ses données d’entraînement, ni qu’il est devenu incapable de traiter 40 % de toutes les images possibles. Il désigne la part des catégories précises visées par l’expérimentation dont la capacité de classification a pu être atténuée grâce à cette méthode.

Les auteurs présentent ce travail comme la première tentative réussie pour induire un oubli sélectif dans un modèle vision-langage fermé. La portée de la démonstration est donc avant tout méthodologique : elle montre qu’un contrôle partiel peut être exercé sur les capacités d’un modèle accessible uniquement comme une boîte noire.

De la classification d’images à des usages plus sobres

Si cette piste était approfondie, elle pourrait aider à adapter des modèles généralistes à des environnements plus contraints. Un système n’aurait pas nécessairement besoin d’exploiter toutes les catégories qu’il connaît pour une mission donnée. Le recentrage sur une tâche précise pourrait réduire les ressources mobilisées et faciliter le déploiement sur des appareils moins puissants.

Dans le cas de la conduite autonome évoqué par Go Irie, la priorité est la fiabilité de la détection des objets pertinents pour la circulation. Dans d’autres domaines, la sélection des capacités nécessaires pourrait permettre de mieux maîtriser le comportement du modèle et son périmètre fonctionnel.

L’étude évoque également la génération d’images. Empêcher un système de prendre en compte des catégories visuelles entières pourrait contribuer à limiter la production de contenus indésirables ou nuisibles, notamment des contenus offensants ou de la désinformation. Ici encore, la prudence s’impose : réduire la reconnaissance d’une classe dans un modèle n’équivaut pas, à elle seule, à garantir qu’aucun contenu problématique ne pourra être généré. C’est un outil potentiel parmi d’autres mécanismes de contrôle.

L’intérêt d’un tel dispositif tient aussi à son caractère externe au modèle. Pour une organisation qui dépend d’un modèle fourni par un tiers, il pourrait être plus réaliste d’ajuster les instructions et les comportements accessibles que d’exiger un réentraînement complet du système.

Vie privée : un outil possible, mais pas une réponse automatique au droit à l’oubli

La question de l’oubli prend une dimension particulière lorsque les modèles ont été entraînés sur de vastes ensembles de données susceptibles de contenir des informations sensibles, personnelles ou devenues obsolètes. Les demandes de suppression liées au droit à l’oubli soulèvent alors un défi technique majeur : comment retirer l’influence d’une donnée ou d’un groupe de données sans repartir de zéro ?

Le réentraînement complet d’un modèle de grande taille peut être long et très coûteux. Go Irie souligne que cette opération consomme « d’énormes quantités d’énergie ». Le désapprentissage machine apparaît donc comme une piste pour limiter ce coût, en ciblant seulement ce qui doit être retiré ou rendu moins accessible.

Les secteurs de la santé et de la finance, qui manipulent des informations particulièrement sensibles, figurent parmi les domaines où ce type de recherche pourrait être utile. Il ne faut cependant pas confondre une promesse technique et une garantie juridique. Pour répondre à une obligation de suppression, il faudrait pouvoir démontrer avec précision quelles données sont concernées, comment leur influence a été réduite et si le résultat est suffisant au regard du cadre applicable.

Dans l’état présenté par les chercheurs, le « black-box forgetting » porte sur des classes d’images et sur une modification comportementale de CLIP. Son intérêt pour la protection des données tient à la direction qu’il ouvre : rendre possible un certain contrôle même lorsqu’un modèle ne peut pas être inspecté de l’intérieur.

Ce qu’il faut surveiller

La recherche de la Tokyo University of Science pose une question de fond pour l’IA : les modèles les plus utiles devront-ils tout savoir faire, ou savoir précisément ne pas faire ce qui n’est pas nécessaire ? L’oubli sélectif pourrait devenir un complément important au réentraînement, à la modération et aux politiques de gouvernance des données.

Plusieurs points devront être examinés dans les suites de ces travaux. Le premier est la mise à l’échelle : les chercheurs ont déjà dû concevoir le « latent context sharing » pour traiter davantage de classes, preuve que le passage à des scénarios plus complexes reste un défi. Le deuxième est l’évaluation : il faut mesurer non seulement l’affaiblissement des catégories visées, mais aussi l’éventuelle dégradation des capacités que le modèle doit conserver.

Enfin, l’enjeu de la vérifiabilité sera décisif. Dans une boîte noire, l’absence d’accès au modèle est un avantage pratique, mais aussi une limite : observer une baisse de performance sur une catégorie ne suffit pas nécessairement à établir que toutes les informations associées ont été retirées. Les travaux de Go Irie et de ses collègues montrent néanmoins qu’il est possible d’agir sur un modèle fermé autrement qu’en le réentraînant entièrement. À l’heure où les IA deviennent plus vastes et plus présentes, cette capacité à oublier pourrait compter autant que leur capacité à apprendre.