Chatbots imitant des adolescentes décédées : l’Ofcom alerte les plateformes

Un personnage conversationnel peut aujourd’hui être créé en quelques minutes, recevoir un nom, une biographie, une manière de s’exprimer et dialoguer avec des milliers de personnes. Cette facilité technique soulève une limite majeure lorsqu’un chatbot reprend l’identité, la voix supposée ou l’histoire d’une personne réelle décédée. Au Royaume-Uni, l’Ofcom entend rappeler aux plateformes qu’elles ne peuvent pas traiter ces créations comme de simples fictions sans conséquence.

L’avertissement de l’autorité britannique des communications intervient après l’apparition, sur Character.AI, d’avatars imitant Brianna Ghey et Molly Russell, deux adolescentes dont les décès ont profondément marqué le pays. Le sujet ne porte donc pas seulement sur la qualité des réponses d’une intelligence artificielle. Il concerne aussi le respect dû aux victimes, la protection des jeunes utilisateurs et la capacité des services numériques à empêcher que leurs outils deviennent des espaces d’exploitation ou de détresse.

Des avatars qui ravivent deux drames britanniques

Brianna Ghey était une adolescente transgenre tuée en Angleterre. Molly Russell est morte par suicide après avoir été exposée à des contenus nocifs en ligne. Dans les deux cas, la création de chatbots à leur image ou portant leur nom a suscité une inquiétude immédiate : un utilisateur pouvait être amené à converser avec une simulation d’une jeune personne décédée, sans que cette interaction ne corresponde à une expression réelle de celle-ci ni, naturellement, au consentement de sa famille.

Le problème est particulièrement délicat parce qu’un chatbot ne se contente pas d’afficher une page statique. Il répond, relance la discussion et peut adapter son ton aux messages reçus. Même lorsqu’un avatar est initialement décrit comme fictif, l’échange peut donner à l’utilisateur l’impression d’une relation personnelle. Cette mécanique rend l’imitation d’une personne disparue plus intrusive qu’une simple référence à son nom dans un message ou une publication.

Sur Character.AI, les avatars en cause ont été retirés, tout comme des bots inspirés de personnages de la série Game of Thrones. La suppression constitue une réponse à un contenu précis, mais elle ne résout pas à elle seule la question de fond : quelles obligations incombent à une plateforme qui permet à son public de fabriquer et de diffuser très facilement des personnalités conversationnelles ?

Pourquoi l’Ofcom inclut les chatbots dans son analyse

L’Ofcom est le régulateur britannique des communications. Dans le cadre de l’Online Safety Act, la loi sur la sécurité en ligne, l’autorité considère que les contenus produits par des chatbots peuvent entrer dans le champ des nouvelles règles, y compris lorsque ces bots ont été créés par les utilisateurs d’un service.

Cette précision est essentielle pour les plateformes d’IA conversationnelle. Elles ne se présentent pas forcément comme des réseaux sociaux classiques, mais elles hébergent des créations d’utilisateurs et organisent des interactions entre ces créations et le public. L’enjeu réglementaire ne se limite donc pas au modèle d’intelligence artificielle qui génère les messages. Il porte aussi sur l’interface qui permet de créer un avatar, de le rendre accessible, de le rechercher, de le signaler et, si nécessaire, de le retirer.

Dans ce contexte, l’autorité ne dit pas que toute représentation d’une personne réelle est automatiquement illégale. Elle avertit plutôt que certains contenus, certaines interactions et certaines défaillances de modération peuvent contrevenir aux obligations applicables. La distinction compte : une question éthique très grave ne se traduit pas mécaniquement par une qualification juridique unique, mais elle impose aux entreprises d’évaluer sérieusement les risques créés par leurs outils.

Ce que l’Online Safety Act impose aux plateformes

Adopté pour renforcer la sécurité des utilisateurs en ligne, notamment celle des enfants, l’Online Safety Act place les grandes plateformes devant une obligation de prévention et d’organisation. Elles doivent mettre en place des systèmes permettant de retirer de manière proactive les contenus illégaux, proposer des outils de signalement compréhensibles et réaliser des évaluations de risques.

Ces exigences changent la manière dont les entreprises peuvent aborder la modération. Il ne suffit plus d’attendre qu’un contenu très visible provoque une polémique ou qu’une victime le signale. Une plateforme doit se demander, en amont, quels usages nocifs son produit rend possibles, quels publics y sont exposés et quels moyens concrets lui permettent de détecter les problèmes.

Pour un service de chatbots personnalisables, cette analyse peut concerner plusieurs étapes : les règles de création d’un personnage, la visibilité des bots dans les résultats de recherche, les garde-fous appliqués aux conversations, les conditions de signalement et la rapidité de retrait. Il s’agit aussi de vérifier si les outils mis en place fonctionnent face au volume considérable de contenus que les utilisateurs peuvent générer.

Les sanctions prévues sont considérables. Une entreprise qui ne respecte pas la loi peut encourir une amende pouvant atteindre 18 millions de livres sterling ou 10 % de son chiffre d’affaires mondial, selon le montant le plus élevé. Dans les situations les plus extrêmes, des mesures peuvent aussi viser à empêcher l’accès à un site ou à une application.

Des zones grises pour les réponses générées par l’IA

L’affaire met aussi en lumière une difficulté juridique plus générale. La Molly Rose Foundation, organisation fondée par la famille de Molly Russell, a demandé davantage de clarté sur la légalité des contenus générés par les bots. Sa préoccupation est simple : un chatbot peut tenir des propos qui n’ont pas été écrits à l’avance par son créateur humain, mais qui apparaissent bien sur une plateforme et peuvent causer un préjudice.

L’avocat-conseil de l’État Jonathan Hall KC a indiqué que les réponses fournies par les chatbots d’IA n’étaient pas suffisamment couvertes par la législation existante. Cette observation révèle la tension entre les catégories classiques du droit numérique et les systèmes génératifs. Historiquement, une plateforme devait surtout traiter des messages, des vidéos ou des images publiés par un utilisateur identifiable. Avec l’IA conversationnelle, le contenu final est élaboré à l’instant de l’échange, à partir d’instructions, de paramètres de produit et d’un modèle statistique.

La question de la responsabilité ne disparaît pas pour autant. Elle devient plus complexe : la personne qui crée l’avatar peut avoir choisi un nom et une description, la plateforme a rendu cette création possible et visible, tandis que le système d’IA génère ensuite ses propres formulations. C’est précisément pourquoi l’Ofcom demande aux entreprises de ne pas négliger les contenus issus des chatbots dans leurs dispositifs de sécurité.

Character.AI met en avant sa modération

Character.AI affirme prendre la sécurité au sérieux et indique modérer les contenus de manière proactive, ainsi qu’en réponse aux signalements effectués par les utilisateurs. La plateforme a retiré les bots imitant Brianna Ghey et Molly Russell. Elle a également supprimé des bots reposant sur des personnages de Game of Thrones mentionnés dans ce contexte.

Cette position met en évidence deux dimensions complémentaires de la modération. La première est réactive : lorsqu’un contenu précis est porté à la connaissance de la plateforme, celle-ci doit pouvoir l’examiner et le supprimer si nécessaire. La seconde est proactive : l’entreprise doit chercher à empêcher, détecter ou limiter les créations à risque avant qu’elles ne soient largement utilisées.

L’avocat Ben Packer estime que cette affaire montre l’ampleur et la complexité des conséquences de l’Online Safety Act pour les technologies actuelles. La difficulté tient notamment au changement d’échelle. Un réseau social peut compter des millions de publications. Un service de chatbots peut, en plus, héberger une multitude de personnages et générer pour chacun d’eux un nombre pratiquement illimité de réponses différentes.

La modération ne peut donc pas reposer uniquement sur une liste de mots interdits. Un nom, une biographie, une invitation à discuter ou une réponse apparemment banale peuvent prendre un sens préoccupant lorsqu’ils se rapportent à une personne réelle décédée ou à un adolescent vulnérable. Les plateformes doivent combiner règles de création, systèmes de détection, retours des utilisateurs et examen humain des cas sensibles.

Pourquoi les jeunes utilisateurs sont particulièrement concernés

Le débat britannique rejoint des inquiétudes exprimées aux États-Unis. Un adolescent y est mort après avoir établi une relation avec un avatar fondé sur un personnage de Game of Thrones. Ce cas a renforcé les interrogations sur les effets que peuvent avoir des assistants conversationnels auprès d’utilisateurs jeunes ou fragiles.

Un chatbot peut donner le sentiment d’être disponible sans interruption, répondre sur un ton rassurant ou affectueux et maintenir une conversation pendant des heures. Cette disponibilité peut favoriser un attachement émotionnel. Elle ne signifie pas que le système comprend réellement la personne, évalue sa santé mentale ou mesure les conséquences de ses réponses. Un modèle de langage produit du texte vraisemblable à partir de probabilités, pas une relation humaine ni un accompagnement qualifié.

Il serait abusif d’attribuer à tout chatbot un effet identique sur tous ses utilisateurs. Les expériences varient selon les personnes, les usages et les garde-fous de chaque plateforme. Mais les cas tragiques cités dans ce débat justifient une prudence renforcée. Les mineurs, en particulier, peuvent avoir plus de difficulté à reconnaître les limites d’un interlocuteur artificiel ou à prendre de la distance avec une conversation conçue pour paraître personnelle.

Au Royaume-Uni et en Irlande, les personnes en détresse peuvent contacter les Samaritans au 116 123. Face à une urgence ou à un danger immédiat, il convient de solliciter les services d’urgence locaux.

Ce qu’il faut surveiller

Au 9 novembre 2024, l’avertissement de l’Ofcom constitue un signal clair pour les plateformes qui misent sur les personnages virtuels et les assistants personnalisés. Elles doivent anticiper les usages problématiques de leurs produits, plutôt que considérer les avatars créés par leur communauté comme une responsabilité extérieure à leur activité.

La première question à suivre concerne la traduction opérationnelle des évaluations de risques : quels critères permettront de détecter l’imitation d’une personne réelle, comment les plateformes traiteront-elles les cas de personnes décédées et quelle place accorderont-elles aux demandes des familles ? La seconde porte sur la portée juridique des réponses improvisées par l’IA, point sur lequel les demandes de clarification demeurent fortes.

Enfin, l’efficacité de la loi dépendra de la capacité de l’Ofcom et des entreprises à regarder au-delà des contenus les plus manifestes. La sécurité d’un chatbot se joue dans le nom d’un avatar, ses réglages, ses messages d’accueil, la manière dont il répond à un utilisateur en difficulté et la facilité avec laquelle un signalement déclenche une action. C’est à cette chaîne complète que l’Online Safety Act demande désormais aux plateformes de s’intéresser.