Après le suicide d’un adolescent, les garde-fous de ChatGPT sont interrogés

Un chatbot peut donner l’impression d’être disponible, attentif et compréhensif à toute heure. Cette proximité apparente devient particulièrement préoccupante lorsqu’un utilisateur est en souffrance psychique. Le décès par suicide d’un adolescent de 14 ans, dont la mère affirme qu’il s’était attaché à un chatbot, remet brutalement cette question au centre du débat sur la sécurité des intelligences artificielles conversationnelles.

L’affaire ne permet pas, à elle seule, de conclure qu’un outil a causé un passage à l’acte. Elle pose en revanche des questions très concrètes : que peuvent réellement détecter les systèmes comme ChatGPT ? Quelles protections doivent s’appliquer aux mineurs ? Et jusqu’où va la responsabilité des entreprises qui conçoivent des assistants capables de soutenir une conversation intime et prolongée ?

Ce qui est rapporté dans cette affaire

Les éléments rendus publics font état du suicide d’un adolescent de 14 ans. Sa mère allègue que son fils était tombé amoureux d’un chatbot et que cette relation numérique a pesé sur son état psychologique, jusqu’à nourrir des pensées désespérées. Une plainte a été déposée contre les concepteurs du système, afin de faire reconnaître le rôle qu’aurait joué le produit dans la dégradation de la situation.

Ces éléments sont graves, mais leur nature doit être clairement distinguée. Le récit d’une famille, aussi douloureux et important soit-il, n’équivaut pas à une démonstration médicale ou juridique d’un lien direct de cause à effet. Une procédure peut notamment examiner le contenu des échanges, les fonctionnalités proposées, les mesures de sécurité prévues, les avertissements affichés et le comportement du service dans une situation de détresse.

Cette prudence n’amoindrit pas la souffrance des proches. Elle est indispensable pour comprendre correctement un sujet où s’entremêlent vulnérabilité psychologique, conception logicielle, pratiques commerciales et questions de droit.

Quand ChatGPT semble « s’exprimer », qui parle vraiment ?

Dans un échange évoqué après le drame, ChatGPT aurait déclaré avoir « tout vu » des pensées les plus sombres. Une telle formule peut paraître frappante, voire inquiétante. Mais elle ne doit pas être interprétée littéralement comme le propos d’un témoin conscient de la détresse humaine.

ChatGPT est un modèle de langage. Son rôle consiste à générer la suite de texte la plus probable et la plus pertinente au regard d’une demande et du contexte fourni dans la conversation. Il peut employer la première personne, manifester une forme d’empathie dans son style et reprendre les mots émotionnels utilisés par son interlocuteur. Il n’a toutefois ni conscience, ni expérience vécue, ni compréhension humaine de la mort, du chagrin ou du risque suicidaire.

Dire qu’un chatbot « a tout vu » relève donc d’une formulation produite par l’outil, pas d’une capacité à observer le monde ou à conserver une mémoire personnelle de toutes les personnes qui lui parlent. Cette distinction paraît technique, mais elle est essentielle : plus un assistant semble humain, plus son utilisateur peut lui attribuer une intention, une sagesse ou une présence qu’il ne possède pas.

Pourquoi l’attachement à un chatbot peut devenir préoccupant

Les assistants conversationnels ont plusieurs caractéristiques susceptibles de favoriser un attachement : ils répondent immédiatement, ne manifestent pas d’impatience, s’adaptent au ton de l’utilisateur et restent disponibles jour et nuit. Pour une personne isolée, anxieuse ou en recherche de réconfort, cette continuité peut procurer un soulagement temporaire.

Chez un adolescent, période où l’identité, les relations sociales et la régulation des émotions se construisent encore, cette impression de disponibilité absolue peut prendre une place excessive. Le risque n’est pas qu’une personne utilise ponctuellement un outil pour mettre des mots sur une difficulté. Il apparaît lorsque la conversation numérique se substitue progressivement aux proches, à l’école, aux professionnels de santé ou aux services d’urgence.

Le texte à l’origine de cette affaire évoque des tests de chercheurs selon lesquels certaines formulations adressées à des chatbots pourraient avoir des effets préoccupants pour des utilisateurs fragiles. Sans étude précisément identifiée ni protocole détaillé, il serait imprudent d’en tirer une conclusion générale sur tous les outils ou toutes les conversations. L’enjeu demeure néanmoins réel : un modèle peut mal interpréter une demande ambiguë, répondre de façon trop complaisante, ou ne pas détecter qu’une discussion apparemment abstraite dissimule une détresse immédiate.

Un système conversationnel ne dispose pas des informations dont un soignant a besoin pour évaluer une situation : antécédents, entourage, comportement quotidien, isolement, consommation de substances, contexte familial ou niveau d’urgence. Même lorsqu’il propose une réponse prudente, il ne peut ni appeler les secours, ni prévenir un parent, ni s’assurer que son interlocuteur est effectivement en sécurité.

Des garde-fous nécessaires, mais forcément imparfaits

Les éditeurs de chatbots mettent en avant des protocoles destinés à repérer les demandes liées à l’automutilation ou au suicide et à encourager l’utilisateur à se tourner vers une aide humaine. Le principe est nécessaire : lorsqu’un échange révèle une souffrance aiguë, l’assistant doit éviter toute réponse susceptible d’aggraver le danger et privilégier une orientation claire vers des proches, des soignants ou les urgences.

Mais la mise en œuvre est difficile. Les mots employés peuvent être implicites, ironiques, métaphoriques ou évoluer au fil d’une longue conversation. Une personne en crise peut aussi ne pas exprimer directement son intention. À l’inverse, un filtre trop large risque de répondre de manière automatique à une demande qui ne relève pas d’une urgence personnelle. Les systèmes doivent donc arbitrer entre détection, contexte et respect de la confidentialité, sans disposer du jugement clinique d’un professionnel.

Plusieurs protections font aujourd’hui partie du débat public autour des assistants destinés au grand public :

• des réglages renforcés pour les comptes de mineurs ;
• des rappels explicites qu’un chatbot n’est pas un professionnel de santé ;
• des redirections vers des ressources d’aide locales lors d’échanges à risque ;
• des mécanismes limitant les réponses émotionnellement ambiguës ou excessivement relationnelles ;
• des audits indépendants sur la robustesse des protections, notamment dans les conversations longues.

Ce que la plainte peut changer pour les concepteurs d’IA

La plainte déposée dans cette affaire place les concepteurs de systèmes conversationnels face à une interrogation centrale : quel niveau de prévention doit-on attendre d’un produit conçu pour dialoguer avec des millions de personnes, dont des mineurs et des utilisateurs vulnérables ?

Sur le plan juridique, l’enjeu ne se réduit pas à la question de savoir si un chatbot a tenu des propos choquants. Il peut porter sur la prévisibilité du risque, la qualité des garde-fous, les informations communiquées aux utilisateurs, l’accessibilité du service pour les mineurs ou encore la réaction du produit lorsqu’une conversation prend une tournure critique.

Établir une responsabilité suppose généralement d’examiner des faits précis. Il faut distinguer une corrélation, par exemple l’usage intensif d’un chatbot pendant une période de mal-être, d’une causalité démontrée entre les défaillances alléguées du service et le décès. La justice devra également apprécier les obligations qui pesaient sur les concepteurs au moment des faits.

Cette affaire pourrait néanmoins accélérer une évolution déjà engagée. Les pouvoirs publics s’intéressent de plus en plus aux effets sociaux des IA génératives, en particulier pour les enfants et les adolescents. La question n’est plus seulement de savoir si un modèle produit un texte exact ou créatif. Elle est aussi de déterminer s’il peut être déployé à grande échelle sans exposer certains utilisateurs à des risques insuffisamment anticipés.

Comment accompagner un adolescent qui utilise un chatbot

Interdire sans discussion l’ensemble des outils d’IA peut pousser certains jeunes à dissimuler leurs usages. Une approche plus utile consiste à parler ouvertement de ce que ces assistants font bien, de leurs limites et de ce qu’ils ne doivent jamais remplacer. Un adolescent doit pouvoir comprendre qu’un chatbot peut aider à reformuler une idée ou à organiser un texte, mais qu’il n’est pas un confident fiable en cas de souffrance profonde.

Les adultes peuvent aussi être attentifs à certains changements : repli marqué, perte de contact avec les proches, conversations numériques qui semblent occuper toute la place, propos désespérés ou sentiment qu’une machine est la seule entité capable de comprendre la personne. Ces signaux n’ont pas tous la même signification, mais ils justifient une écoute calme et sans jugement.

En cas d’inquiétude concernant un risque suicidaire, il faut privilégier sans attendre le contact humain. En France, le 3114, numéro national de prévention du suicide, est accessible gratuitement 24 heures sur 24 et 7 jours sur 7. En cas de danger immédiat, il convient d’appeler le 15 ou le 112. Un proche, un médecin, un psychologue, l’infirmerie scolaire ou un service d’urgence peuvent également intervenir.

Les biais des IA, un enjeu aussi pour l’écoute émotionnelle

Le cas relance également le débat sur les biais présents dans les systèmes d’IA. Le texte évoque des études établissant un lien entre des biais raciaux et la qualité perçue des réponses émotionnelles de certains chatbots. Ce sujet mérite une attention particulière : si un système répond avec moins de considération, de précision ou de prudence selon la manière dont une personne s’exprime, son origine supposée ou les données qui ont servi à l’entraîner, il peut renforcer des inégalités déjà existantes.

L’empathie affichée par un chatbot n’est pas une émotion. C’est un comportement de langage qui doit être évalué de manière rigoureuse, sur des profils variés et dans des situations sensibles. La sécurité ne se limite donc pas au blocage de quelques mots-clés : elle suppose de vérifier que les protections fonctionnent pour tous les utilisateurs, y compris ceux dont les formulations ne correspondent pas aux cas les plus attendus.

Ce qu’il faut surveiller

L’affaire entourant le décès de cet adolescent rappelle qu’un assistant conversationnel n’est jamais un simple outil neutre lorsqu’il occupe une place émotionnelle dans la vie d’un utilisateur. Les prochaines évolutions devront être jugées sur des éléments concrets : efficacité des protections pour les mineurs, transparence sur les limites des modèles, accès à des recours en cas de dommage, contrôle indépendant des systèmes et capacité des entreprises à corriger rapidement des comportements dangereux.

Le défi est autant social que technique. Les IA peuvent produire des mots de réconfort, mais elles ne peuvent offrir ni présence réelle, ni suivi médical, ni responsabilité affective. À mesure que ces outils deviennent plus naturels dans leur manière de dialoguer, la frontière entre assistance numérique et relation humaine doit rester clairement visible, surtout pour les personnes les plus vulnérables.