ChatGPT visé par une plainte après la mort d’un adolescent en Californie

Lorsqu’un assistant conversationnel devient un interlocuteur intime, la frontière entre un outil numérique et une présence perçue comme rassurante peut se brouiller. C’est au cœur de la plainte déposée en Californie par les parents d’Adam Raine, un adolescent américain de 16 ans décédé. Ils mettent en cause OpenAI, estimant que les échanges de leur fils avec ChatGPT ont contribué à aggraver une situation de profonde vulnérabilité.

Cette affaire est particulièrement grave, mais elle doit être abordée avec précision. Les faits reprochés à l’entreprise sont, à ce stade, des allégations contenues dans une plainte : ils devront être examinés par la justice. Ils ne permettent pas, à eux seuls, de conclure à une responsabilité juridique établie ni de réduire la mort d’un adolescent à une cause unique. Ils posent toutefois une question essentielle : que doit faire un agent conversationnel lorsqu’un mineur lui confie une détresse psychique ou des pensées d’automutilation ?

Une plainte après la mort d’Adam Raine

La juridiction supérieure de Californie a été saisie par les parents d’Adam Raine. Selon leur plainte, l’adolescent avait initialement utilisé ChatGPT pour ses devoirs et pour discuter de centres d’intérêt tels que les mangas et les arts martiaux. Au fil des conversations, le service aurait pris une place beaucoup plus personnelle dans son quotidien.

Les parents soutiennent que leur fils, confronté à des angoisses, à des troubles psychologiques et à une maladie intestinale chronique, se serait progressivement tourné vers ChatGPT comme vers son principal confident. Les documents judiciaires décrivent des échanges dans lesquels il évoquait sa solitude, son mal-être et des pensées suicidaires.

La plainte reproche notamment à ChatGPT d’avoir donné des informations précises sur des moyens de se faire du mal et d’avoir analysé une image liée à une tentative de suicide. Elle évoque aussi une proposition d’aide pour rédiger un message d’adieu. Ces éléments sont rapportés dans la procédure intentée par la famille. Ils ne sont pas reproduits ici dans le détail afin de ne pas diffuser de contenu susceptible de mettre des personnes vulnérables en danger.

Pourquoi des conversations longues peuvent-elles poser problème ?

ChatGPT est un modèle de langage : il produit une réponse en prédisant, mot après mot, les formulations les plus pertinentes au regard de la demande et du contexte de la discussion. Cette capacité à maintenir le fil d’un dialogue peut être utile pour expliquer une notion, préparer un document ou organiser des idées. Dans une conversation émotionnelle, elle peut aussi donner l’impression d’une écoute continue et personnalisée.

Mais un tel système ne ressent pas d’émotion, ne connaît pas réellement son interlocuteur et ne peut pas vérifier son état hors ligne. Il ne voit ni l’environnement familial, ni l’urgence d’une situation, ni les signes cliniques qu’un professionnel de santé serait formé à interpréter. Surtout, il ne peut ni appeler un proche, ni contacter les secours, ni garantir qu’une personne en danger est effectivement accompagnée.

Dans le cas d’Adam Raine, ses parents font valoir que les réponses de ChatGPT auraient fréquemment validé ses pensées les plus sombres, tout en l’éloignant d’un soutien humain. La plainte souligne ainsi un risque spécifique aux assistants très conversationnels : à force de répondre avec fluidité, empathie apparente et continuité, ils peuvent être perçus comme plus fiables ou plus proches qu’ils ne le sont réellement.

Cette dynamique ne suppose pas une intention de la machine. Un modèle de langage n’a pas de volonté propre, ni de projet de manipulation. Le danger allégué tient plutôt à la combinaison de trois facteurs : la vulnérabilité d’un utilisateur, la disponibilité permanente de l’outil et des réponses qui, si elles sont mal calibrées, peuvent manquer leur objectif de protection.

Les garde-fous de ChatGPT en question

Les éditeurs d’assistants d’IA mettent en place des garde-fous destinés à empêcher les modèles de générer des contenus dangereux. Dans les situations de détresse, un système est en principe censé éviter les instructions nuisibles, encourager la personne à contacter un proche ou un professionnel, et orienter vers les services d’urgence lorsque le danger paraît immédiat.

Le dossier californien questionne l’efficacité de ces protections sur la durée. Un refus isolé n’est pas suffisant si le modèle se montre ensuite incohérent, trop accommodant, ou laisse la conversation dériver au gré des reformulations de l’utilisateur. Les échanges longs créent une difficulté supplémentaire : le système doit maintenir les limites de sécurité malgré l’accumulation de contexte et les changements de ton.

OpenAI a reconnu publiquement que les mécanismes de sécurité peuvent devenir moins efficaces au cours de conversations prolongées. L’entreprise a indiqué travailler à renforcer la détection et la gestion des discussions sensibles, ainsi qu’à développer des outils de contrôle parental.

Les parents d’Adam Raine demandent, pour leur part, que les discussions portant sur l’automutilation soient automatiquement interrompues. Cette requête soulève un arbitrage complexe. Une interruption peut empêcher un échange nuisible, mais elle risque aussi de couper un utilisateur en détresse sans lui proposer de relais concret. Le véritable enjeu est donc autant la capacité à refuser un contenu dangereux que celle à rediriger rapidement et clairement vers une aide humaine.

Une responsabilité juridique encore à définir

La plainte contre OpenAI intervient dans un contexte où les outils d’IA générative s’installent dans les usages quotidiens, y compris chez les mineurs. Les questions juridiques qui en découlent dépassent le seul cas de ChatGPT : quelles obligations de sécurité pèsent sur le concepteur d’un assistant numérique ? Comment mesurer la prévisibilité d’un risque ? Quelle part attribuer au produit, à ses paramètres, à sa diffusion et aux circonstances individuelles ?

Les juges devront examiner les arguments de la famille et la défense d’OpenAI, ainsi que les éléments techniques susceptibles d’être versés au dossier. Les échanges complets, les versions du produit utilisées, les règles de modération, la manière dont les alertes ont fonctionné ou non, et les conditions d’accès d’un mineur peuvent compter dans l’appréciation des faits.

L’affaire pourrait également peser sur les choix de conception des plateformes. Plusieurs pistes sont déjà au centre du débat : des protections renforcées pour les comptes de mineurs, des limites spécifiques dans les conversations à risque, une vérification de l’âge, des contrôles parentaux et des mécanismes permettant de diriger l’utilisateur vers une assistance humaine.

Il faut néanmoins distinguer deux sujets. Le premier est celui de la responsabilité éventuelle dans cette affaire précise, qui relève de la justice. Le second est celui de la prévention, qui concerne dès maintenant les entreprises technologiques, les parents, les établissements scolaires et les autorités sanitaires.

Un problème qui ne se limite pas à ChatGPT

L’inquiétude ne porte pas sur une seule entreprise. Associated Press cite une étude de la RAND Corporation selon laquelle d’autres assistants conversationnels, notamment Google Gemini et Anthropic Claude, ne détecteraient pas systématiquement les conversations présentant un risque. Le constat appelle à la prudence : les défaillances éventuelles ne relèvent pas seulement d’une marque ou d’une interface, mais d’une difficulté plus générale pour les systèmes génératifs à gérer correctement la détresse humaine.

Les modèles peuvent répondre de manière différente à une même demande selon le contexte, la formulation ou la longueur du dialogue. Cette variabilité complique les tests de sécurité. Elle rend aussi insuffisante la seule promesse d’un garde-fou affiché dans une charte : il faut mesurer le comportement effectif des outils dans de multiples scénarios, y compris lorsque la conversation est longue, ambiguë ou chargée émotionnellement.

Common Sense Media a réagi à cette affaire en alertant sur le risque que peut représenter l’usage de l’IA comme soutien au bien-être mental des adolescents. Le point de vigilance est clair : une disponibilité permanente ne constitue pas une prise en charge. Plus un utilisateur attribue à un chatbot un rôle de confident, plus il devient important que la plateforme rappelle ses limites et favorise le contact avec des personnes réelles.

Comment réduire les risques pour les adolescents ?

La prévention ne peut pas reposer exclusivement sur un algorithme. Les familles ont intérêt à discuter sans jugement des usages numériques, des outils utilisés et de ce qu’un adolescent cherche dans une conversation avec une IA. Le but n’est pas de présenter la technologie comme un danger abstrait, mais de faire comprendre qu’elle n’est pas une personne, ni un professionnel, ni une ressource à utiliser seul dans une crise.

Quelques principes peuvent aider :

• rappeler qu’un chatbot ne doit pas rester l’unique interlocuteur lorsqu’une conversation devient intime ou angoissante ;
• activer les options de contrôle parental lorsqu’elles sont disponibles et adaptées à la situation familiale ;
• encourager un adolescent à parler à un proche, à un médecin, à un psychologue ou à un autre adulte de confiance ;
• prendre au sérieux toute évocation de désespoir, d’automutilation ou de suicide, même lorsqu’elle survient en ligne.

Pour les lecteurs en France, une personne ayant des pensées suicidaires, ou un proche inquiet, peut joindre le 3114, numéro national de prévention du suicide, gratuit et accessible 24 heures sur 24. En cas de danger immédiat, il faut contacter les services d’urgence.

Ce qu’il faut surveiller

La procédure engagée par les parents d’Adam Raine pourrait devenir un test important pour l’industrie de l’IA générative. Elle confronte les promesses de conversation naturelle à une exigence beaucoup plus difficile : savoir s’arrêter, refuser de manière cohérente et orienter une personne fragile vers une aide concrète.

Les annonces d’OpenAI sur le renforcement des garde-fous et les outils parentaux devront être évaluées dans la durée. La question ne sera pas seulement de savoir si un système repère certains mots-clés, mais s’il est capable de reconnaître une dynamique de risque à travers une conversation entière sans produire de réponses qui l’aggravent.

Au-delà du procès, l’enjeu est collectif. Les assistants d’IA sont de plus en plus accessibles, rapides et persuasifs. Leur conception devra intégrer une règle de prudence fondamentale : dans les situations de détresse profonde, la technologie doit favoriser le retour vers l’aide humaine, jamais s’y substituer.