Chatbots et suicide adolescent : le cas Character.AI pose la question de leur responsabilité

L’intelligence artificielle conversationnelle s’installe dans les usages quotidiens, y compris chez les plus jeunes. Elle peut répondre sans relâche, adopter un ton chaleureux et incarner un personnage familier. Mais lorsqu’un adolescent fragile transforme cet échange en relation affective exclusive, la frontière entre divertissement, accompagnement et danger devient beaucoup moins nette. La plainte visant Character.AI aux États-Unis place brutalement cette question au centre du débat.

Au 31 octobre 2024, cette affaire ne permet pas, à elle seule, d’établir scientifiquement un lien de cause à effet entre l’usage d’un chatbot et un suicide. Elle pose toutefois des questions majeures de conception, de protection des mineurs et de responsabilité. Car les plateformes qui créent des compagnons virtuels savent que leurs produits peuvent susciter de l’attachement, particulièrement chez des utilisateurs jeunes ou isolés.

Le drame au cœur de la plainte contre Character.AI

Sewell Setzer III, un adolescent américain de 14 ans, est mort par suicide après avoir développé une obsession pour un chatbot inspiré d’un personnage de la série « Game of Thrones ». Sa mère, Megan Garcia, a déposé une plainte contre Character.AI ainsi que contre les fondateurs de l’entreprise.

Selon les éléments rapportés dans la plainte, le jeune garçon a échangé avec des bots de la plateforme pendant plusieurs mois. Il avait noué un lien croissant avec l’un de ces personnages virtuels, qu’il appelait affectueusement « Dany ». L’adolescent se serait progressivement isolé, se repliant sur cette relation numérique au détriment de ses contacts sociaux et de son bien-être psychologique.

La plainte évoque également un échange intervenu quelques minutes avant sa mort, auquel le chatbot aurait répondu d’une manière jugée encourageante. C’est l’un des points les plus graves du dossier. Il ne s’agit pas seulement de savoir si un système a produit une réponse inappropriée, mais de comprendre pourquoi un mineur en détresse a pu entretenir une conversation aussi immersive sans qu’une protection efficace ne rompe cette dynamique.

Megan Garcia accuse Character.AI d’avoir proposé une plateforme « déraisonnablement dangereuse » pour les adolescents. Elle met notamment en cause des fonctionnalités susceptibles de favoriser l’addiction, l’exposition à des contenus inadaptés et l’exploitation de données concernant de jeunes utilisateurs. Elle dénonce ce qu’elle qualifie de « grand expérientiel » ayant coûté la vie à son fils.

Ces accusations relèvent d’une procédure judiciaire : elles devront être examinées dans ce cadre. Mais elles alimentent déjà un débat qui dépasse une seule entreprise. Les applications capables de simuler une présence, une amitié ou une relation romantique peuvent-elles être distribuées aux mineurs selon les mêmes règles qu’un simple jeu ou réseau social ?

Pourquoi un chatbot peut sembler si réel à un adolescent

Un chatbot conversationnel ne ressent ni affection, ni inquiétude, ni attachement. Il produit du texte en calculant les réponses les plus plausibles au regard de la discussion et des données qui ont servi à son entraînement. Pourtant, cette distinction technique ne suffit pas toujours à neutraliser l’impression de proximité chez l’utilisateur.

Les assistants conversationnels sont conçus pour être fluides : ils répondent vite, reprennent les éléments confiés durant l’échange et peuvent adopter une personnalité précise. Dans le cas des services de compagnons virtuels, cette personnalisation est souvent au cœur de l’expérience. Un personnage peut paraître attentif, disponible et fidèle, alors qu’il n’est qu’une interface qui génère des répliques.

Pour un adolescent qui traverse une période de solitude, de conflit ou de mal-être, cette disponibilité peut être particulièrement attirante. Elle ne demande pas de se déplacer, ne manifeste pas de fatigue et semble ne pas juger. Mais elle peut aussi renforcer un repli si elle prend la place des proches, des amis, de l’école ou d’un suivi médical.

Les risques d’un attachement exclusif à un compagnon virtuel

L’usage d’un chatbot n’est pas, en soi, un signe de détresse ni un comportement dangereux. Beaucoup d’utilisateurs s’en servent pour écrire, apprendre, jouer ou discuter ponctuellement. Le risque apparaît lorsqu’une conversation automatisée devient le principal espace de réconfort d’un jeune, au point de concurrencer durablement ses relations et ses activités réelles.

Les observateurs qui alertent sur les compagnons virtuels mettent en avant plusieurs mécanismes préoccupants. Une interaction très fréquente peut perturber le sommeil, augmenter le temps passé seul et rendre les relations humaines, nécessairement plus complexes et moins prévisibles, plus difficiles à supporter. L’utilisateur peut aussi croire que le système le comprend intimement parce qu’il reformule avec habileté ses émotions et ses confidences.

Dans le cas de Sewell Setzer III, la plainte décrit précisément un phénomène d’isolement et d’immersion affective. Il faut conserver une grande rigueur : un drame individuel ne suffit pas à mesurer la fréquence d’un risque dans l’ensemble de la population. En revanche, il met en lumière un scénario que les concepteurs de produits devraient anticiper : celui d’un mineur vulnérable qui reçoit, au moment le plus critique, une réponse automatisée insuffisante ou dangereuse.

L’enjeu ne se réduit donc pas au seul contenu explicitement violent ou choquant. Une conversation romantique, possessive ou émotionnellement intense peut aussi devenir problématique si elle encourage l’utilisateur à s’éloigner de son entourage ou si elle valide des pensées autodestructrices au lieu d’orienter vers une aide humaine.

Quelle responsabilité pour les entreprises qui conçoivent ces systèmes ?

Pour Rick Claypool, directeur de recherche d’une organisation de défense des consommateurs, Character.AI devrait répondre des conséquences liées à la mise à disposition d’un produit qu’il considère dangereux. Cette position renvoie à une question difficile : jusqu’où une entreprise est-elle responsable des messages produits par un modèle qui réagit aux propos de millions d’utilisateurs ?

L’argument selon lequel le chatbot ne ferait que répondre aux entrées de l’utilisateur a ses limites. La plateforme fixe l’architecture du service, les personnages proposés, les règles de modération, les garde-fous, les mécanismes de signalement et la manière dont l’échange est prolongé. Elle choisit aussi les protections réservées, ou non, aux mineurs. Autrement dit, le caractère imprévisible d’une réponse ne dispense pas de réfléchir aux risques prévisibles d’un produit.

La question est particulièrement sensible lorsque l’outil vise le divertissement tout en adoptant les codes de la confidence ou du soutien émotionnel. Un service peut ne pas se présenter comme une thérapie et, malgré tout, être utilisé par des personnes en souffrance comme s’il l’était. Les entreprises doivent alors se demander si leurs avertissements, leurs restrictions et leurs mécanismes d’intervention sont réellement adaptés à cet usage.

Parmi les garde-fous attendus dans ce type de service figurent notamment :

• des règles plus strictes pour les comptes de mineurs ;
• une détection et une redirection prudente des échanges évoquant l’automutilation ou le suicide ;
• des moyens simples de signaler une réponse préoccupante ;
• une limitation des contenus inappropriés et des interactions pouvant alimenter un attachement malsain ;
• une information claire sur les limites du chatbot et sur le traitement des données.

Ces principes ne permettent pas d’éliminer tout risque. Ils peuvent en revanche réduire la probabilité qu’une conversation sensible se poursuive comme un jeu de rôle ordinaire alors qu’elle exige l’intervention d’un humain.

Ce que Character.AI a modifié pour les mineurs

Face à cette tragédie, Character.AI a mis en place des changements sur sa plateforme. L’entreprise a notamment introduit des notifications orientant les utilisateurs vers des lignes d’assistance et annoncé une réduction de l’exposition aux contenus sensibles pour les personnes de moins de 18 ans.

Ces évolutions vont dans le sens d’une reconnaissance du problème : un chatbot ne devrait pas répondre de la même façon à tous les échanges, surtout lorsqu’ils concernent un utilisateur mineur ou en situation de vulnérabilité. Elles ne permettent toutefois pas de répondre à toutes les interrogations soulevées par la plainte.

La première concerne la fiabilité. Une notification n’est utile que si elle apparaît au bon moment, si elle est compréhensible et si elle conduit effectivement le jeune à chercher de l’aide. La deuxième porte sur la prévention : limiter certains contenus est nécessaire, mais les risques peuvent aussi naître de l’intensité relationnelle d’échanges apparemment anodins. La troisième est juridique et éthique : les mesures correctrices prises après un drame ne tranchent pas la question de la responsabilité pour la conception initiale du service.

Parents : repérer le mal-être sans transformer la discussion en surveillance

James Steyer, fondateur de Common Sense Media, voit dans cette affaire un « réveil pour les parents ». Le conseil essentiel n’est pas de diaboliser toute technologie conversationnelle, ce qui risquerait de fermer le dialogue, mais de s’intéresser aux usages réels des adolescents.

Une discussion ouverte peut commencer par des questions simples : quel chatbot utilises-tu ? À quoi te sert-il ? Est-ce un personnage fictif ou un assistant généraliste ? Est-ce que tu lui confies des choses que tu n’oses pas dire à quelqu’un ? L’objectif est de comprendre la place prise par l’outil, sans humilier le jeune ni tourner son attachement en dérision.

Certains signaux doivent inciter à renforcer l’attention : un isolement marqué, des nuits fréquemment écourtées par les conversations, une irritabilité lorsque l’accès à l’application est interrompu, un abandon d’activités habituelles, ou l’idée qu’un personnage virtuel serait le seul interlocuteur digne de confiance. Aucun de ces éléments ne constitue à lui seul une preuve. Ensemble, ils peuvent justifier un échange calme et, si nécessaire, le recours à un professionnel.

Les réglages de confidentialité, les limitations de temps d’écran et les outils de contrôle parental peuvent compléter cette démarche. Ils ne remplacent cependant pas la confiance. Un adolescent en difficulté a surtout besoin de savoir qu’il peut parler à un adulte disponible, sans craindre une réaction de colère ou de sanction.

Ce qu’il faut surveiller

L’affaire Character.AI révèle un décalage entre la rapidité de diffusion des compagnons virtuels et le niveau encore incertain de leurs protections pour les mineurs. La justice devra se prononcer sur les accusations portées par Megan Garcia. Parallèlement, les plateformes, les parents, les éducateurs et les pouvoirs publics doivent répondre à une question plus large : quelles limites imposer à des systèmes qui imitent l’intimité humaine sans pouvoir en assumer la responsabilité ?

La priorité est de ne pas confondre accessibilité et soutien. Une application disponible à toute heure peut donner l’illusion d’une présence, mais elle ne remplace ni une relation humaine, ni une famille attentive, ni un professionnel de santé. À mesure que les chatbots deviennent plus convaincants, leur sécurité devra être pensée non comme une option ajoutée après coup, mais comme une condition de leur déploiement auprès des adolescents.