OpenAI ferme des comptes liés à un outil de surveillance développé avec ChatGPT

Le cas est sensible parce qu’il mêle trois sujets souvent confondus : l’accès à ChatGPT depuis la Chine, l’usage d’un modèle génératif pour écrire ou corriger du code, et la surveillance de personnes sur les réseaux sociaux. Le 21 février 2025, OpenAI a annoncé avoir supprimé des comptes associés à un réseau qu’elle décrit comme étant d’origine chinoise. Selon l’entreprise, ce réseau cherchait à tirer parti de ses modèles dans le cadre du développement et de la promotion d’un outil de surveillance.

La décision a vite été résumée comme l’exclusion d’« utilisateurs chinois ». Cette formule est trop large. Elle désigne ici une mesure prise contre des comptes précis, soupçonnés d’avoir enfreint les règles d’utilisation du service, et non une sanction visant indistinctement les citoyens ou les entreprises de Chine. Les informations rendues publiques par OpenAI éclairent néanmoins un enjeu majeur : les modèles de langage peuvent abaisser la barrière technique pour concevoir des dispositifs susceptibles de porter atteinte à la vie privée et à la liberté d’expression.

Ce qu’OpenAI dit avoir découvert

Dans son rapport consacré aux usages malveillants de ses outils, OpenAI désigne ce réseau sous le nom de « Peer Review ». L’entreprise indique que ses opérateurs, établis ou actifs depuis la Chine selon ses éléments d’analyse, ont utilisé ses modèles pour obtenir de l’aide sur plusieurs tâches liées à un projet de surveillance.

Le système présenté par les opérateurs devait, selon OpenAI, analyser des publications sur des réseaux sociaux occidentaux et produire des rapports relatifs à des protestations ou à des critiques de la Chine. Ils l’auraient décrit comme un outil de surveillance en temps réel destiné aux autorités chinoises chargées de l’application de la loi et du renseignement.

Les usages de ChatGPT signalés par OpenAI concernaient notamment :

• le débogage de code et des questions techniques sur des composants du système ;
• la génération de descriptions de fonctionnalités ;
• la rédaction de contenus servant à présenter ou promouvoir l’outil ;
• des demandes relatives à l’analyse de jeux de données et de comptes sur les plateformes sociales.

OpenAI affirme avoir désactivé les comptes concernés. L’entreprise n’a pas rendu publique l’identité des personnes derrière le réseau, le nombre de comptes supprimés ni les preuves techniques détaillées ayant permis son attribution.

Un assistant de code n’est pas, à lui seul, un système de surveillance

L’expression « surveillance avec ChatGPT » peut laisser croire que le robot conversationnel observait directement des personnes. La réalité technique est plus nuancée. Un grand modèle de langage génère et transforme du texte, et peut aussi aider à rédiger, expliquer ou corriger du code. Il ne collecte pas automatiquement des données sur les réseaux sociaux et ne décide pas, seul, qui doit être suivi.

Pour bâtir un système de surveillance numérique, il faut généralement plusieurs briques : des données récupérées sur des plateformes, une infrastructure pour les stocker, des logiciels de recherche ou de classement, parfois des outils de reconnaissance d’images ou de visages, puis une interface permettant à un opérateur humain d’exploiter les résultats. Un modèle de langage peut intervenir à différentes étapes, par exemple pour accélérer l’écriture d’un programme, résumer de grandes quantités de texte ou produire une documentation technique.

C’est précisément ce rôle d’assistance qui inquiète. Même si un modèle n’exécute pas lui-même la surveillance, il peut réduire le temps nécessaire pour mettre en forme une idée, résoudre un problème informatique ou industrialiser certaines tâches rédactionnelles. Cela vaut pour des usages légitimes, comme l’automatisation d’un service client, mais aussi pour des projets beaucoup plus contestables.

Cette distinction est essentielle pour lire l’affaire avec rigueur. Les déclarations de l’entreprise documentent une tentative d’usage et une réponse de modération. Elles ne constituent pas, à elles seules, une démonstration publique complète du fonctionnement réel, de l’ampleur ou des destinataires finaux de l’outil évoqué.

Pourquoi la surveillance des réseaux sociaux pose un problème de vie privée

Un message publié publiquement n’est pas dépourvu de toute protection. Agréger des milliers de publications, les relier à des pseudonymes, les classer par opinion et les intégrer à des fiches de suivi change profondément la nature de l’information. Une donnée isolée, banale en apparence, peut devenir très intrusive lorsqu’elle est combinée avec d’autres éléments.

Les systèmes de surveillance assistés par l’IA peuvent notamment :

• accélérer le repérage de mots-clés, de thèmes politiques ou de mouvements de contestation ;
• établir des rapprochements entre comptes, messages, images et lieux ;
• produire des résumés ou des profils à partir de volumes considérables de contenus ;
• amplifier les erreurs de classement, les biais ou les confusions d’identité à grande échelle.

La question ne se réduit donc pas à la technologie utilisée. Elle dépend aussi de la finalité, du cadre légal, de l’existence d’un contrôle indépendant et des possibilités de recours offertes aux personnes concernées. Un outil d’analyse peut servir à repérer une campagne de désinformation ou une menace concrète. Il peut aussi devenir un moyen de cibler des opposants, des journalistes ou de simples internautes exprimant une opinion.

Accès depuis la Chine : distinguer les restrictions géographiques et les sanctions de comptes

L’affaire intervient dans un contexte particulier. Les services d’OpenAI ne sont pas officiellement pris en charge en Chine. En juillet 2024, l’entreprise avait engagé le blocage de l’accès à ses interfaces de programmation, aussi appelées API, depuis les pays et territoires non pris en charge, dont la Chine.

Une API permet à une entreprise d’intégrer un modèle d’IA à sa propre application ou à ses processus internes. Elle n’est donc pas exactement la même chose que l’interface grand public de ChatGPT. Dans les deux cas, l’accès effectif peut être compliqué par des intermédiaires techniques, des réseaux privés virtuels ou des prestataires situés dans d’autres pays. Les restrictions géographiques ne suffisent pas nécessairement à empêcher tous les détournements.

La fermeture des comptes liés à « Peer Review » doit ainsi être comprise sur deux niveaux : un cadre géographique déjà restrictif pour les services pris en charge, et une intervention ciblée contre des activités qu’OpenAI juge incompatibles avec ses politiques. Présenter cette mesure comme une expulsion globale des utilisateurs chinois masquerait la différence entre ces deux mécanismes.

Ce que les règles d’usage cherchent à empêcher

Comme d’autres éditeurs de modèles génératifs, OpenAI encadre l’utilisation de ses outils par des conditions et politiques. L’objectif est de limiter les activités illégales, les atteintes à la vie privée, les fraudes, les campagnes de manipulation ou encore les usages susceptibles de causer un préjudice sérieux à des individus.

Appliquer ces règles à des usages de surveillance est toutefois difficile. Les demandes adressées à un assistant peuvent être anodines lorsqu’elles sont prises séparément : corriger un script, résumer une base de texte, écrire une description commerciale. C’est leur combinaison, leur répétition et leur contexte qui peuvent révéler un projet problématique.

Les entreprises d’IA disposent de signaux techniques et comportementaux pour détecter des abus, mais elles ne détaillent pas publiquement tous leurs moyens de détection. Une transparence totale faciliterait aussi le contournement de ces protections. Le défi consiste donc à expliquer suffisamment les mesures prises pour permettre un contrôle public, sans livrer de mode d’emploi aux acteurs malveillants.

Une affaire révélatrice des limites de la modération

La suppression de comptes constitue une réponse concrète, mais elle intervient souvent après que des requêtes ont déjà été formulées. Elle ne règle pas tous les risques liés aux modèles accessibles par API, aux modèles ouverts ou aux outils développés localement. Si une équipe perd l’accès à un fournisseur, elle peut rechercher une solution concurrente ou modifier son infrastructure.

Cette réalité explique la diversité des réactions dans le secteur technologique. Certains considèrent que les fournisseurs de modèles ont la responsabilité de couper l’accès lorsqu’ils identifient des usages de contrôle abusif. D’autres redoutent que des règles trop vastes privent des chercheurs, des développeurs ou des entreprises de capacités utiles sans apporter de garanties suffisantes contre les véritables abus.

La ligne de partage ne peut pas reposer seulement sur le pays d’origine d’un utilisateur. Un même outil peut être employé de manière légitime ou dommageable selon les données traitées, les personnes ciblées, la finalité poursuivie et les garanties prévues. Dans cette affaire, OpenAI invoque des comportements associés à un réseau spécifique et à un cas d’usage de surveillance, non une nationalité comme critère unique.

Ce qu’il faut surveiller

Le premier point à suivre concerne la précision des rapports de transparence publiés par les fournisseurs d’IA. Les annonces de perturbation de réseaux abusifs sont utiles, mais leur portée dépend des éléments publiés : nature des requêtes, moyens de détection, degré de réussite des acteurs et conséquences des mesures prises.

Le deuxième enjeu porte sur l’évolution des règles applicables à la surveillance algorithmique. Les législateurs, les autorités de protection des données et les juridictions devront préciser les limites de l’analyse automatisée des contenus publics, en particulier lorsqu’elle sert à établir des profils politiques ou à suivre des mouvements sociaux.

Enfin, l’affaire rappelle que la sécurité des modèles ne dépend pas uniquement des réponses refusées par un chatbot. Elle implique aussi le contrôle des accès, l’analyse des abus, la capacité à suspendre rapidement les comptes et une évaluation constante des usages réels. À mesure que les outils génératifs deviennent plus accessibles, cette vigilance sera aussi déterminante que les progrès techniques eux-mêmes.