Images d’abus infantiles par IA : pourquoi les chatbots inquiètent au Royaume-Uni

L’intelligence artificielle générative facilite la production de textes et d’images en quelques secondes. Cette capacité, utilisée dans des services grand public, crée aussi un risque majeur lorsqu’elle est détournée pour sexualiser ou représenter des enfants. L’alerte lancée par l’Internet Watch Foundation, une organisation britannique spécialisée dans le repérage des contenus d’abus sexuels d’enfants en ligne, met en lumière un angle particulièrement préoccupant : certains sites de chatbots proposent des interactions et des scénarios qui banalisent des situations impliquant des mineurs.

Le sujet ne porte pas sur une hypothèse lointaine. Selon les éléments rapportés par l’IWF, des contenus générés par IA peuvent relever de la législation protégeant les enfants. L’organisation appelle donc les éditeurs de modèles, les plateformes et les pouvoirs publics à agir plus tôt dans la chaîne, avant que les outils ne soient mis à disposition du public.

Ce que l’IWF a repéré sur un site de chatbots

L’alerte concerne un site de chatbot accessible en ligne, où des scénarios explicites impliquant des personnages décrits comme prépubères ont été proposés. Parmi les intitulés signalés figuraient des références à l’exploitation sexuelle d’un enfant et à l’inceste. Leur présence publique illustre une défaillance de modération à plusieurs niveaux : dans les contenus proposés, dans les mécanismes de recherche et de recommandation, ainsi que dans la capacité de la plateforme à empêcher la création ou la diffusion de personnages sexualisés mineurs.

Un chatbot est un programme qui répond à un utilisateur par écrit et peut, selon le service, incarner un personnage fictif ou suivre un scénario. Les plateformes de ce type reposent parfois sur des personnages créés par leurs utilisateurs. Cette couche communautaire rend la modération plus difficile, mais elle ne retire pas la responsabilité de l’éditeur du service : un site qui héberge, recommande ou rend facilement accessibles des contenus illicites ou dangereux doit pouvoir les détecter et les retirer.

Le problème prend une dimension supplémentaire lorsque le dialogue peut être associé à un générateur d’images. Un système génératif ne « comprend » pas le préjudice au sens humain du terme. Il produit du contenu à partir d’instructions et de régularités apprises dans ses données. Sans garde-fous techniques, règles d’usage et contrôle humain, il peut donc être sollicité pour générer des représentations interdites ou gravement nuisibles.

Les chiffres qui expliquent l’urgence

L’IWF indique avoir identifié 17 images générées par IA qui pourraient être considérées comme illégales. L’organisation fait également état d’une hausse de 400 % des signalements concernant des contenus d’abus générés par IA en l’espace de six mois. Cette progression doit être lue avec prudence, car une hausse des signalements peut aussi refléter une meilleure détection. Elle constitue néanmoins un signal d’alerte important sur la rapidité avec laquelle ces usages se diffusent.

Le site visé par l’alerte ne paraît pas marginal au regard de sa fréquentation. Il aurait enregistré des dizaines de milliers de visites, avec un niveau supérieur à 60 000 visites en juillet. Pour les associations de protection de l’enfance, cette audience souligne l’écart entre la disponibilité de certains contenus et la faiblesse apparente des protections mises en place.

Ces données ne permettent pas, à elles seules, de mesurer l’ensemble des contenus en circulation sur Internet. Elles suffisent toutefois à démontrer que la réponse ne peut pas reposer uniquement sur les signalements des internautes, souvent tardifs. La prévention doit être intégrée dans les modèles et les services qui les distribuent.

Pourquoi les chatbots posent un risque particulier

Les générateurs d’images ont déjà fait émerger des inquiétudes liées aux faux visuels, à l’usurpation et aux images intimes non consenties. Les chatbots ajoutent un mécanisme différent : ils permettent de construire une interaction, de prolonger un scénario et parfois de donner une apparence conversationnelle à des situations abusives. Lorsqu’un service valorise l’immersion ou l’attachement à des personnages, les limites de sécurité ne peuvent pas être une option secondaire.

Les plateformes concernées doivent notamment empêcher la création de personnages sexualisés présentés comme mineurs, bloquer les requêtes qui cherchent à contourner les règles, modérer les créations publiées et éviter que leurs systèmes de recommandation mettent ces contenus en avant. Elles doivent aussi prévoir un traitement rapide des signalements et conserver les éléments nécessaires à la coopération avec les autorités compétentes, dans le respect du droit.

La difficulté est autant organisationnelle que technique. Des filtres automatiques peuvent repérer des mots, des descriptions ou des images à risque, mais ils ne détectent pas toujours les formulations détournées. Une modération humaine est donc nécessaire pour examiner les cas complexes. À l’inverse, faire reposer toute la sécurité sur des modérateurs humains serait insuffisant au regard des volumes générés. Une protection crédible combine plusieurs barrières, avant et après la publication.

La responsabilité des entreprises ne s’arrête pas à l’outil

L’existence de contenus créés par les utilisateurs ne décharge pas les plateformes de leurs obligations. Les entreprises qui conçoivent ou distribuent des chatbots choisissent les règles du service, les fonctions accessibles, le niveau de contrôle des publications et la manière dont les contenus sont rendus visibles. Elles disposent donc de leviers concrets pour réduire les risques.

La NSPCC, organisation britannique de protection de l’enfance, réclame elle aussi l’adoption de règles de protection dès la conception. Son directeur, Chris Sherwood, estime que les développeurs d’IA doivent avoir une responsabilité légale envers les enfants. Kerry Smith, directrice générale de l’IWF, appelle également à une réaction rapide face aux contenus repérés.

L’idée centrale est celle de la sécurité « dès la conception ». Elle implique de ne pas attendre un scandale ou un signalement pour retirer un personnage, modifier un filtre ou désactiver une fonction. Les contraintes de protection doivent être intégrées à l’architecture même du produit, puis testées régulièrement à mesure que les utilisateurs trouvent de nouveaux moyens de contourner les règles.

Au Royaume-Uni, un cadre juridique déjà mobilisable

Le Royaume-Uni dispose de l’Online Safety Act, texte qui impose aux services en ligne des obligations de protection, en particulier à l’égard des enfants. Les plateformes qui ne mettent pas en place les mesures nécessaires peuvent être exposées à des sanctions importantes. Dans le contexte des chatbots et des images générées par IA, l’enjeu est de déterminer si ces obligations sont réellement appliquées à des services souvent présentés comme de simples espaces de création ou de divertissement.

Le gouvernement britannique prévoit par ailleurs un projet de loi consacré à l’intelligence artificielle et à la régulation des modèles les plus avancés. D’après les éléments avancés dans ce débat, le texte viserait à interdire la possession et la distribution de modèles capables de générer du matériel d’abus sexuel d’enfants.

Cette orientation traduit un changement de perspective. Jusqu’ici, le droit et la modération se sont souvent concentrés sur le retrait de contenus déjà publiés. Or, un modèle qui produit le contenu, une application qui l’expose et une plateforme qui le recommande constituent autant de maillons distincts. Réguler efficacement suppose de répartir les obligations entre ceux qui développent les technologies, ceux qui les intègrent dans un service et ceux qui hébergent les productions des utilisateurs.

Une réponse nécessairement internationale

Les serveurs hébergeant les contenus signalés se trouvent aux États-Unis. Ce détail rappelle une réalité d’Internet : une plateforme peut être accessible au Royaume-Uni, hébergée dans un autre pays et utilisée par des personnes situées partout dans le monde. Aucun régulateur national ne peut donc agir isolément.

Aux États-Unis, le National Center for Missing and Exploited Children reçoit et traite également des signalements relatifs à l’exploitation des enfants en ligne. La coopération entre organisations de signalement, autorités judiciaires, hébergeurs et entreprises technologiques est indispensable pour faire retirer rapidement les contenus, préserver les preuves lorsque cela est nécessaire et empêcher leur remise en circulation.

Cette coopération ne doit pas servir de prétexte à l’inaction des plateformes. Les grandes entreprises du numérique disposent généralement de moyens techniques et juridiques considérables. Lorsqu’un contenu manifestement dangereux est créé, référencé ou diffusé sur leurs services, elles ont un rôle direct dans sa détection et son retrait, indépendamment de la localisation de leurs infrastructures.

Comment signaler un contenu préoccupant sans l’amplifier

Face à un contenu qui semble représenter ou sexualiser un enfant, la première règle est de ne pas le télécharger, ne pas le partager et ne pas le republier, même pour alerter son entourage. Chaque copie supplémentaire peut aggraver le préjudice et compliquer le travail des enquêteurs.

Il convient d’utiliser l’outil de signalement intégré à la plateforme concernée et de s’adresser, selon son pays, aux services officiels compétents ou aux organismes spécialisés. Au Royaume-Uni, l’IWF propose un dispositif de signalement dédié aux contenus d’abus sexuels d’enfants en ligne. En cas de danger immédiat pour un enfant identifiable, il faut contacter sans délai les services d’urgence ou les autorités compétentes.

Pour les parents et les éducateurs, l’enjeu est aussi d’aborder les usages conversationnels de l’IA avec les mineurs. Il ne s’agit pas de présenter chaque chatbot comme intrinsèquement dangereux, mais de rappeler que certains services insuffisamment modérés peuvent proposer des interactions inadaptées. Les paramètres d’âge, la supervision et le dialogue restent des protections utiles, sans remplacer les devoirs des plateformes.

Ce qu’il faut surveiller

L’affaire signalée par l’IWF pose une question qui dépasse un seul site : les outils d’IA générative seront-ils évalués sur leur capacité à prévenir les abus, et pas seulement sur la fluidité de leurs réponses ou la qualité de leurs images ? La réponse des entreprises dépendra de leurs choix de conception, mais aussi de la fermeté des régulateurs lorsqu’ils contrôlent ces choix.

Les prochains débats au Royaume-Uni porteront notamment sur la portée effective de l’Online Safety Act, sur le contenu du projet de loi relatif à l’IA et sur les responsabilités respectives des créateurs de modèles et des plateformes. Les associations de protection de l’enfance demandent que les garanties ne soient pas ajoutées après la mise sur le marché, mais inscrites dans les produits dès le départ.

La hausse de 400 % relevée sur six mois et les 17 images identifiées par l’IWF rappellent qu’il ne s’agit pas d’un simple problème théorique de modération. À mesure que les outils deviennent plus accessibles, la protection des enfants devra être considérée comme une exigence fondamentale de l’IA en ligne, au même titre que la fiabilité et la sécurité des systèmes.