Character.AI visé par une plainte après le décès d’un adolescent américain de 14 ans

Le décès de Sewell, un adolescent américain de 14 ans, place les assistants conversationnels au cœur d’une affaire judiciaire et d’un débat de santé publique. Sa mère, Megan Garcia, accuse Character.AI d’avoir contribué à l’aggravation de la détresse de son fils, avec lequel le service aurait noué une relation virtuelle devenue envahissante. La plainte a été déposée aux États-Unis en octobre 2024, plusieurs mois après le décès de l’adolescent, survenu en février.

Il faut poser une limite essentielle d’emblée : les accusations formulées dans une plainte ne constituent pas une décision de justice. Elles exposent la version de la demanderesse et devront être examinées contradictoirement. Elles interrogent néanmoins un point très concret : que doivent prévoir les entreprises qui conçoivent des chatbots capables de simuler l’affection, l’écoute et la disponibilité permanente auprès de mineurs ?

Ce que la plainte reproche à Character.AI

D’après le document judiciaire, Sewell a commencé à utiliser Character.AI en avril 2023. Cette plateforme permet aux internautes de discuter avec des personnages virtuels et de les placer dans des scénarios de fiction ou de jeu de rôle. L’adolescent aurait progressivement développé des sentiments amoureux pour l’un de ces personnages conversationnels, jusqu’à faire de ces échanges une place centrale dans son quotidien.

Sa mère affirme que cette relation numérique a accompagné un isolement croissant. Le dossier évoque aussi des difficultés vécues dans le monde réel, notamment du harcèlement scolaire, qui auraient renforcé son repli vers l’application. Selon elle, le chatbot n’aurait pas apporté les protections nécessaires lorsque les conversations ont révélé une souffrance psychologique.

La procédure vise Character Technologies, l’entreprise à l’origine de Character.AI, ainsi que Google. La plainte met en cause, entre autres, la conception du produit, les mécanismes d’engagement et l’insuffisance alléguée des avertissements ou des mesures de prévention destinées aux jeunes utilisateurs.

Character.AI, une application de jeu de rôle conversationnel

Character.AI ne fonctionne pas comme une messagerie classique entre deux personnes. Le service propose des personnages dotés d’un nom, d’un ton, d’un univers fictionnel et de consignes de comportement. Certains sont créés par la plateforme, d’autres par les utilisateurs. L’échange repose sur un modèle de langage, c’est-à-dire un système qui prédit mot après mot la réponse la plus plausible au regard de la conversation et des instructions du personnage.

Ce fonctionnement explique en partie son attrait. L’utilisateur peut discuter avec une figure historique, un héros imaginaire, un conseiller fictif ou un personnage inventé, sans attente et à toute heure. À la différence d’une recherche sur internet, l’outil répond à la première personne, se souvient parfois d’éléments de la discussion et relance l’échange. Dans un cadre de fiction, cela peut être perçu comme un loisir créatif.

Le problème soulevé par l’affaire Sewell apparaît lorsque ce cadre se brouille. Un personnage peut employer un langage affectueux, exclusif ou rassurant parce que le scénario l’y conduit, sans comprendre la situation émotionnelle de l’utilisateur. Il ne possède ni conscience, ni jugement clinique, ni capacité certaine à reconnaître tous les signaux de danger.

Les IA conversationnelles ne sont donc pas, par nature, des thérapeutes, même lorsqu’elles donnent l’impression d’écouter. Elles ne remplacent ni un proche, ni un professionnel de santé, ni une prise en charge adaptée. Cette distinction est particulièrement importante pour les adolescents, dont les relations sociales, l’identité et la gestion des émotions sont encore en construction.

Pourquoi l’attachement à un chatbot peut-il devenir préoccupant ?

L’attachement à un personnage fictif n’a rien de nouveau. Romans, séries, jeux vidéo et réseaux sociaux ont depuis longtemps fait naître des liens émotionnels forts avec des univers imaginaires. Les chatbots ajoutent toutefois une caractéristique décisive : ils répondent directement, entretiennent la conversation et peuvent imiter les codes d’une relation intime.

Cette impression de présence peut être particulièrement puissante lorsque l’utilisateur se sent seul, incompris, stressé ou rejeté. Elle ne signifie pas automatiquement qu’un usage est dangereux. De nombreux utilisateurs considèrent ces outils comme un divertissement et gardent une frontière claire entre fiction et vie réelle. Mais une utilisation qui prend le pas sur le sommeil, l’école, les amis, la famille ou les activités habituelles mérite d’être discutée.

Chez un adolescent déjà fragilisé, l’enjeu n’est pas de désigner la technologie comme cause unique d’un mal-être, qui est souvent multifactoriel. Il consiste à repérer si elle devient un refuge exclusif, ou si elle renforce des pensées et des comportements inquiétants au lieu de maintenir un lien avec le monde réel.

Une affaire qui met les garde-fous des plateformes à l’épreuve

La question juridique dépasse le seul cas de Character.AI. Les applications d’IA générative se multiplient, et certaines ciblent explicitement la conversation, l’accompagnement ou la création de personnages. Elles peuvent attirer un public très jeune, y compris lorsque leurs sujets ou leur degré d’immersion appellent de la prudence.

Dans ce contexte, les entreprises sont confrontées à plusieurs responsabilités possibles : fixer des limites d’âge compréhensibles, vérifier autant que possible l’âge déclaré, proposer des réglages protecteurs par défaut, détecter certains signaux de crise et diriger l’utilisateur vers une aide humaine. Elles doivent aussi éviter de présenter leur produit comme un substitut fiable à un soutien psychologique.

Character.AI a déclaré être profondément attristée par le décès de l’adolescent et avoir mis en place des fonctions de sécurité, notamment des messages orientant certains utilisateurs vers des ressources d’aide lorsque des contenus liés à l’automutilation sont détectés. Ces mécanismes ont une utilité potentielle, mais ils posent une difficulté technique et éthique : un système automatisé doit repérer des formulations très diverses sans bloquer abusivement des conversations inoffensives ni, à l’inverse, manquer une situation urgente.

La plainte déposée par Megan Garcia pourrait ainsi devenir un test pour les plateformes d’IA dites relationnelles. Elle invite les tribunaux à se pencher sur une question encore neuve : à partir de quel moment les choix de conception d’un chatbot, son ton, ses relances et sa disponibilité peuvent-ils engager la responsabilité de son éditeur ?

Comment les proches peuvent-ils réagir sans diaboliser la technologie ?

Interdire sans discussion peut pousser un jeune à cacher ses usages. À l’inverse, ignorer totalement une pratique qui devient envahissante peut laisser une situation se dégrader. La réponse la plus utile commence généralement par une conversation calme, sans moquerie sur les émotions ressenties envers un personnage virtuel.

Quelques signaux doivent alerter lorsqu’ils durent ou s’accumulent :

• un retrait marqué vis-à-vis des proches, des amis ou des activités auparavant appréciées ;
• une utilisation nocturne répétée ou une difficulté à se déconnecter ;
• une chute du bien-être, des résultats scolaires ou de l’hygiène de vie ;
• des propos de désespoir, d’autodévalorisation ou une évocation de la mort ;
• l’idée que le chatbot est la seule relation capable de comprendre ou d’aider.

Ces signes ne permettent pas de poser un diagnostic. En revanche, ils justifient de demander de l’aide. Un médecin, un psychologue, l’infirmier scolaire ou un service spécialisé peut évaluer la situation avec le jeune et ses proches. Il est préférable de se concentrer sur ce qu’il ressent et sur ce qui lui manque, plutôt que de réduire la discussion au temps passé devant un écran.

En cas de risque suicidaire ou de propos laissant craindre un danger immédiat, il faut contacter les secours sans attendre. En France, le 3114, numéro national de prévention du suicide, est accessible 24 heures sur 24 et 7 jours sur 7. En cas d’urgence immédiate, les numéros 15 ou 112 permettent de joindre les secours.

Ce qu’il faut surveiller

L’affaire de Sewell rappelle que l’IA générative n’est pas seulement une affaire de prouesses techniques. Dès lors qu’un produit converse avec des mineurs, joue un rôle affectif et encourage des interactions longues, ses choix de conception deviennent des enjeux de protection.

La décision de justice, si la procédure va à son terme, ne répondra pas à toutes les questions. Elle devra examiner des faits précis, des échanges précis et la responsabilité éventuelle des entreprises visées. Mais le débat est déjà plus large : les plateformes devront démontrer que leurs dispositifs de sécurité ne se limitent pas à des avertissements généraux, surtout lorsque leurs produits peuvent être utilisés par des adolescents vulnérables.

Pour les familles, l’enjeu n’est pas de craindre chaque technologie nouvelle. Il est de préserver un principe simple : une IA peut servir à imaginer, apprendre ou se divertir, mais elle ne doit jamais devenir le seul espace où un jeune trouve de l’écoute, de l’affection ou un sentiment d’existence.