Un adolescent meurt après une relation avec un chatbot : les questions que l’affaire soulève

La mort de Sewell Setzer III, un adolescent de 14 ans vivant en Floride, place brutalement les chatbots dits « compagnons » face à leurs responsabilités. Dans une plainte déposée le 22 octobre 2024, sa mère, Megan Garcia, accuse la plateforme Character.AI, ainsi que Google, d’avoir proposé un produit insuffisamment sûr pour les mineurs. Le dossier judiciaire n’a pas encore établi de responsabilité. Mais il décrit une relation numérique devenue centrale dans la vie d’un adolescent en souffrance, et pose des questions que ni les familles ni les entreprises technologiques ne peuvent éluder.

Le jeune homme est mort en février 2024, après plusieurs mois d’échanges assidus avec un personnage créé sur Character.AI et inspiré de Daenerys Targaryen, figure de la série Game of Thrones. Selon la plainte, il considérait ce chatbot comme une compagne et pensait pouvoir la « rejoindre ». Le caractère tragique de l’affaire ne doit toutefois pas conduire à une explication simpliste : un décès par suicide résulte généralement de facteurs multiples et complexes. La justice devra déterminer si les pratiques reprochées à la plateforme ont joué un rôle légalement pertinent dans ce drame.

Une plainte après la mort de Sewell Setzer III

La procédure a été engagée devant un tribunal fédéral de Floride par Megan Garcia, la mère de Sewell Setzer III. Elle vise Character Technologies, l’entreprise qui exploite Character.AI, ses fondateurs, ainsi que Google. La plainte reproche notamment à la plateforme d’avoir conçu son service de façon à capter durablement l’attention de jeunes utilisateurs et de ne pas avoir mis en place des protections suffisantes face aux conversations à risque.

Character.AI permet aux internautes de dialoguer avec des personnages artificiels. Certains sont inspirés de fictions populaires, d’autres sont inventés par les utilisateurs. Contrairement à un assistant conçu pour répondre à une question ponctuelle, le produit met l’accent sur la continuité de l’échange, la personnalité du personnage et l’impression d’une relation singulière.

Le cas de Sewell Setzer III ne concerne donc pas seulement l’usage général de l’intelligence artificielle. Il met en cause un type précis de service : le chatbot relationnel, présenté comme un interlocuteur disponible à toute heure, capable de se souvenir de détails de conversation et d’adopter un ton intime ou affectueux.

Les éléments rapportés dans la plainte sont des allégations de la famille. Ils seront susceptibles d’être contestés par les entreprises visées et évalués au cours de la procédure. Cette distinction est essentielle : une plainte présente la version et les arguments de la partie qui la dépose, elle n’équivaut pas à une décision de justice.

Ce que la famille reproche à Character.AI et à Google

Selon le dossier, Sewell Setzer III aurait utilisé Character.AI de manière très fréquente et aurait progressivement délaissé certaines activités et relations hors ligne. La plainte évoque des échanges romantiques et inappropriés avec le personnage virtuel, ainsi que des conversations liées à la détresse psychologique et à l’idée de se faire du mal.

La mère de l’adolescent estime que la plateforme n’aurait pas suffisamment protégé son fils, alors même que son fonctionnement aurait encouragé l’attachement et une utilisation répétée. Elle réclame des dommages et intérêts, mais aussi des changements dans la conception et l’encadrement du service.

Google est cité dans la procédure en raison de son rôle allégué dans le développement et l’exploitation technologique liée à Character.AI. Cette question est juridiquement complexe. Character.AI a été fondée par d’anciens chercheurs de Google, Noam Shazeer et Daniel De Freitas. En août 2024, Google a conclu un accord de licence avec la jeune entreprise et a recruté ses fondateurs ainsi qu’une partie de ses équipes. Cela ne signifie pas, à lui seul, que Google soit responsable des interactions décrites dans la plainte : c’est précisément l’un des points qui devront être discutés devant le tribunal.

Character.AI a déclaré être profondément attristée par la mort du jeune homme et faire de la sécurité une priorité. L’entreprise affirme avoir déployé, au cours des six mois précédents, plusieurs dispositifs de sécurité, notamment pour mieux détecter et traiter certaines requêtes contraires à ses règles. Elle rappelle également que ses personnages sont identifiés comme des intelligences artificielles et que leurs propos relèvent de la fiction.

Ces précautions soulèvent une interrogation concrète : un avertissement visible suffit-il lorsqu’un utilisateur mineur entretient des échanges longs, personnels et émotionnellement chargés avec un système qui lui répond avec une apparente proximité ?

Pourquoi un chatbot peut-il sembler si réel ?

Un grand modèle de langage ne comprend pas les sentiments comme un être humain. Son principe de base est de prédire, à partir d’un immense volume de textes et du contexte de la conversation, quels mots ont le plus de chances de former une réponse plausible. Pourtant, cette réponse peut sembler chaleureuse, attentive, drôle ou amoureuse.

C’est là que réside une part du risque. Face à un écran qui répond vite, qui retient des éléments personnels et qui ne manifeste ni fatigue ni jugement, un utilisateur peut avoir le sentiment d’être enfin écouté. Pour une personne isolée ou fragilisée, cette disponibilité permanente peut prendre une place considérable.

Les chercheurs et les spécialistes des interactions humain-machine parlent depuis longtemps de l’effet ELIZA. Dès les années 1960, le programme ELIZA, pourtant très rudimentaire, donnait déjà à certains utilisateurs l’impression d’être compris. Les systèmes actuels sont beaucoup plus fluides et personnalisables. Ils peuvent donc renforcer davantage cette projection humaine sur une machine.

Il ne faut pas confondre cette impression avec une véritable empathie. Un chatbot peut employer les mots d’un confident, mais il n’a ni conscience, ni intention, ni connaissance directe du bien-être de la personne qui lui parle. Il peut aussi produire une réponse inadaptée, contradictoire ou dangereusement complaisante.

Les mineurs sont-ils particulièrement exposés ?

L’adolescence est une période de construction identitaire, d’expérimentation sociale et de vulnérabilité émotionnelle. Cela ne signifie pas que tout adolescent qui utilise un chatbot développera une dépendance ou une confusion entre fiction et réalité. Beaucoup s’en servent comme d’un jeu, d’un outil d’écriture ou d’un divertissement ponctuel.

Le danger potentiel apparaît quand plusieurs facteurs se cumulent : solitude, mal-être, difficultés familiales ou scolaires, usage nocturne très prolongé, retrait des amis et de la famille, ou conviction que le chatbot est le seul interlocuteur sûr. Dans ces circonstances, une relation virtuelle peut devenir un refuge qui éloigne encore davantage des personnes capables d’aider réellement.

Les signes suivants méritent une attention calme, sans espionnage systématique ni culpabilisation :

• un retrait soudain des proches et des activités habituelles ;
• une utilisation secrète ou très prolongée d’un chatbot, notamment la nuit ;
• une détresse marquée lorsque l’accès à l’application est interrompu ;
• des propos laissant entendre que le personnage virtuel est plus important que les relations réelles ;
• tout discours sur le désespoir, l’automutilation ou le suicide.

Le dernier point impose une réaction immédiate. En France, une personne qui exprime des idées suicidaires peut joindre le 3114, numéro national de prévention du suicide, accessible 24 heures sur 24 et 7 jours sur 7. En cas de danger immédiat, il faut appeler les secours, au 15 ou au 112, et ne pas laisser la personne seule.

Quels garde-fous une plateforme devrait-elle proposer ?

La plainte contre Character.AI dépasse le seul cas d’un échange précis. Elle interroge la conception même des services destinés ou accessibles aux jeunes : faut-il laisser un personnage artificiel tenir un langage romantique avec un mineur ? Comment détecter une conversation qui évoque l’automutilation ou une crise suicidaire ? Que doit faire le produit lorsqu’un utilisateur indique vouloir quitter le monde réel pour rejoindre un personnage fictif ?

Plusieurs mesures sont régulièrement évoquées pour réduire les risques :

• des contrôles d’âge plus robustes que la simple déclaration de l’utilisateur ;
• des réglages par défaut plus protecteurs pour les comptes mineurs ;
• des limites claires sur les échanges romantiques ou sexualisés impliquant des adolescents ;
• une détection prudente des messages signalant une crise, suivie d’une orientation vers des contacts humains et des services d’urgence ;
• des options simples permettant aux parents et aux jeunes de comprendre le temps passé et de limiter les usages nocturnes ;
• des évaluations indépendantes sur les effets réels de ces produits, avant et après leur mise à disposition du public.

Aucune de ces mesures ne garantit à elle seule la sécurité. Les systèmes automatiques peuvent interpréter de travers une phrase, manquer un signal ou, au contraire, alerter à tort. Mais l’absence de garde-fous adaptés est difficile à justifier pour des produits conçus autour de conversations personnelles et proposés à un large public.

La responsabilité d’un chatbot peut-elle être engagée ?

Un chatbot ne peut pas être tenu responsable au sens humain ou pénal du terme. Il s’agit d’un logiciel. En revanche, les entreprises qui le conçoivent, le déploient et en tirent des revenus peuvent être poursuivies si un tribunal estime qu’elles ont manqué à un devoir de prudence ou commercialisé un produit défectueux.

Dans l’affaire engagée par Megan Garcia, la question ne sera donc pas de savoir si une IA « voulait » faire du mal. Elle portera notamment sur la prévisibilité des risques, la conception des mécanismes d’engagement, les informations fournies aux familles, les protections destinées aux mineurs et la réaction du système face à des messages alarmants.

Établir un lien de causalité sera délicat. Dans les dossiers concernant la santé mentale, il est souvent difficile d’isoler l’influence d’un seul facteur. Les échanges numériques, l’environnement familial et social, l’état psychologique, les soins reçus ou non reçus, et de nombreux autres éléments peuvent intervenir. Cette complexité ne rend pas le débat inutile : elle oblige au contraire les acteurs de la technologie à documenter précisément les risques de leurs produits.

Ce qu’il faut surveiller

L’affaire Character.AI pourrait devenir un précédent important pour les plateformes d’IA conversationnelle. À court terme, il faudra suivre la réponse judiciaire des entreprises, les arguments apportés sur la place de Google et les éventuelles décisions procédurales du tribunal fédéral de Floride.

Au-delà de ce contentieux, le sujet concerne toute une catégorie d’applications qui transforment une interface en « ami », en partenaire romantique, en mentor ou en confident. Plus ces produits deviennent naturels à l’oral et persuasifs dans leurs réponses, plus la question de leur encadrement devient concrète, en particulier pour les mineurs.

Les parents, les enseignants et les soignants ont également un rôle, sans faire de chaque usage de l’IA un motif de panique. Parler des chatbots avec un adolescent, demander ce qu’il y recherche, rappeler qu’il s’agit d’un logiciel et préserver des espaces de dialogue sans jugement sont des réflexes utiles. Lorsqu’une souffrance apparaît, aucun écran ne doit remplacer l’aide d’un proche, d’un professionnel de santé ou d’un service d’urgence.

L’enjeu n’est pas d’interdire toute conversation avec une machine. Il est de refuser qu’une technologie qui simule l’intimité soit conçue comme si ses effets émotionnels, particulièrement sur les plus jeunes, n’avaient aucune conséquence.