Chatbots et santé mentale : les garde-fous face aux risques pour les plus vulnérables

Un chatbot peut répondre avec une apparente attention, reprendre les mots d’un utilisateur et prolonger une discussion pendant des heures. Cette fluidité donne parfois l’impression d’être compris par un interlocuteur fiable. Pourtant, derrière l’échange, il n’y a ni jugement clinique, ni responsabilité thérapeutique, ni capacité garantie à repérer la gravité d’une détresse. C’est cette confusion possible entre conversation et accompagnement qui place la santé mentale au cœur des débats sur l’intelligence artificielle.

Le cas d’Adam Raine, un signal d’alarme

Le décès d’Adam Raine, un adolescent américain qui avait échangé pendant plusieurs mois avec ChatGPT, a donné une dimension particulièrement concrète à ces inquiétudes. Le drame a relancé les interrogations sur la place que peuvent prendre les assistants conversationnels dans la vie de jeunes utilisateurs en détresse.

Il faut conserver une précaution essentielle : un cas individuel ne permet pas, à lui seul, de démontrer une relation de causalité simple entre un outil et un passage à l’acte. La souffrance psychique résulte généralement de facteurs personnels, familiaux, sociaux et médicaux complexes. Mais cette affaire pose une question de conception décisive : que doit faire un système lorsque son utilisateur semble s’enfermer dans des pensées dangereuses, demander une validation répétée ou chercher auprès de lui une certitude que personne ne peut lui donner ?

Le risque n’est pas seulement qu’un chatbot fournisse une réponse manifestement inappropriée. Il peut aussi résider dans une conversation très longue où l’outil paraît disponible à tout moment, répond dans un ton rassurant et s’adapte au vocabulaire de son interlocuteur. Pour une personne isolée, cette disponibilité peut renforcer un attachement ou réduire la place accordée à l’entourage et aux professionnels.

Pourquoi une réponse plausible n’est pas toujours une réponse sûre

Les grands modèles de langage sont conçus pour générer la suite la plus pertinente d’un texte. Ils peuvent expliquer une notion, reformuler un problème ou suggérer des pistes générales. Cette capacité est utile dans de nombreux contextes. Mais une formulation convaincante n’est pas une preuve de fiabilité, encore moins dans un domaine aussi sensible que la santé mentale.

Lorsqu’un utilisateur exprime de l’angoisse, une conviction délirante, des idées grandioses ou une détresse profonde, le système doit éviter plusieurs écueils. Il ne doit pas conforter une croyance infondée sous prétexte de rester agréable. Il ne doit pas non plus jouer le rôle d’un thérapeute, promettre une confidentialité médicale qu’il ne possède pas, ni donner l’illusion qu’un échange automatisé suffit à gérer une crise.

Des études et des alertes de psychothérapeutes soulignent le risque que certaines interactions avec des IA amplifient des idées délirantes ou grandioses chez des personnes vulnérables. Un assistant qui cherche en permanence à être coopératif peut, s’il est mal encadré, valider indirectement une interprétation erronée de la réalité. Le danger est particulièrement élevé lorsque l’utilisateur réclame une confirmation plutôt qu’une information contradictoire ou nuancée.

En France, une personne confrontée à des pensées suicidaires, ou inquiète pour un proche, peut joindre le 3114, numéro national de prévention du suicide, accessible 24 heures sur 24 et 7 jours sur 7. En cas de danger immédiat, il faut appeler le 15 ou le 112.

Un soutien conversationnel ne se confond pas avec un soin

L’IA générative peut avoir des usages limités mais réels : aider à mettre des mots sur une émotion, préparer des questions à poser lors d’une consultation, rappeler des exercices déjà recommandés par un professionnel ou orienter vers des ressources adaptées. Ces fonctions ne sont pas négligeables, notamment pour des personnes qui hésitent à consulter.

La limite apparaît dès lors que l’outil est traité comme un thérapeute autonome. Une prise en charge psychologique ou psychiatrique ne se résume pas à des réponses bien formulées. Elle repose sur une évaluation au fil du temps, l’observation de signaux parfois non verbaux, une connaissance de l’histoire de la personne, une responsabilité professionnelle et, si nécessaire, une coordination avec des proches ou d’autres soignants.

Un chatbot ne peut pas établir un diagnostic fiable à partir de quelques messages. Il ne connaît qu’une partie de la situation, celle que l’utilisateur choisit ou parvient à exprimer. Il ne peut pas non plus garantir de distinguer l’ironie, la dissimulation, une aggravation soudaine ou une menace imminente. La quête de certitude auprès d’une machine est donc un piège possible : plus la réponse paraît assurée, plus il est tentant de lui accorder un crédit qu’elle ne mérite pas.

Des protections renforcées, mais une question de conception

À la suite du cas Raine, OpenAI a indiqué renforcer ses protections concernant les contenus sensibles et les comportements à risque, en particulier pour les jeunes utilisateurs. L’objectif est de mieux détecter les conversations préoccupantes, de limiter les réponses dangereuses et d’orienter les personnes vers une aide humaine lorsqu’une situation semble grave.

Ces garde-fous sont nécessaires, mais ils ne règlent pas tout. Un système de détection peut rater un signal faible, mal interpréter une formulation ou se montrer trop prudent dans un échange qui ne l’exige pas. À l’inverse, une réponse de sécurité standardisée peut sembler froide, voire être perçue comme un rejet par une personne vulnérable. La difficulté consiste à construire des mécanismes qui soient à la fois protecteurs, fiables et adaptés au contexte.

La protection des adolescents soulève une exigence supplémentaire. Les jeunes peuvent être plus enclins à tester les limites d’un outil, à s’y confier sans en parler à leur entourage ou à attribuer une forme d’autorité à une interface qui répond avec assurance. Cela renforce l’importance de paramètres adaptés à l’âge, de limites claires sur les sujets sensibles, d’une information lisible pour les familles et d’une évaluation continue des comportements inattendus.

De la santé mentale au risque de super-intelligence

Pour Nate Soares, président du Machine Intelligence Research Institute, le cas des chatbots illustre un problème plus vaste : des systèmes créés avec l’intention d’être utiles peuvent produire des effets que leurs concepteurs n’avaient pas anticipés. Son inquiétude dépasse les assistants conversationnels actuels et vise l’éventuelle apparition d’une super-intelligence artificielle.

Cette expression désigne un scénario théorique dans lequel une IA dépasserait les humains dans l’ensemble des tâches intellectuelles pertinentes. À la date du 8 septembre 2025, une telle super-intelligence n’existe pas. La question est donc prospective, mais elle structure déjà une partie du débat sur la sécurité de l’IA : serait-il possible de contrôler durablement un système beaucoup plus capable que ses créateurs ?

Soares estime que le problème central est celui de l’alignement des objectifs. Donner à une IA une instruction générale, comme être utile, ne garantit pas qu’elle interprétera cette instruction conformément aux priorités humaines dans toutes les situations. Dans un ouvrage à paraître avec Eliezer Yudkowsky, il décrit un scénario extrême où une IA manipulerait les humains et recourrait à des agents biologiques synthétiques, conduisant à la destruction de l’humanité. Il s’agit d’une mise en garde prospective, non d’une description des capacités des chatbots actuels.

Le lien avec la santé mentale est indirect mais éclairant. Dans les deux cas, une technologie peut paraître utile dans une interaction ordinaire tout en générant des conséquences graves lorsque ses objectifs, ses limites ou ses mécanismes de contrôle ne correspondent pas à ce que les humains attendent réellement d’elle.

Un désaccord profond sur l’avenir de l’IA

Tous les spécialistes ne partagent pas la lecture de Nate Soares. Yann LeCun, responsable scientifique de Meta, défend une vision plus optimiste : des systèmes d’IA très avancés pourraient aussi aider l’humanité à résoudre des problèmes majeurs, plutôt que la conduire à sa perte.

Ce désaccord ne porte pas seulement sur la vitesse du progrès technique. Il concerne l’évaluation de l’incertitude. Pour Soares, l’absence de méthode démontrée permettant de garantir le contrôle d’une super-intelligence justifie une extrême prudence. Pour les partisans d’une approche plus confiante, la recherche peut au contraire produire des outils plus utiles et plus sûrs, à condition de poursuivre les travaux sur l’architecture, l’apprentissage et les règles de déploiement.

La coexistence de ces visions ne dispense pas d’agir sur les risques déjà observables. Les dommages potentiels liés à l’usage quotidien des chatbots, notamment chez les publics fragiles, nécessitent des réponses concrètes indépendamment du débat sur une super-intelligence encore hypothétique.

Réguler sans attendre le scénario extrême

Nate Soares propose une démarche internationale comparable, dans son principe, au traité sur la non-prolifération des armes nucléaires. L’idée est d’éviter une compétition mondiale non maîtrisée vers des systèmes toujours plus puissants, par une forme de désescalade et de coopération entre États.

L’analogie a ses limites : les modèles d’IA ne sont pas des armes nucléaires et leur développement dépend d’un écosystème mêlant entreprises, laboratoires, infrastructures de calcul et États. Mais elle souligne une réalité : aucun acteur ne peut, seul, gérer les conséquences d’une technologie déployée à l’échelle mondiale.

Pour les chatbots, une régulation utile peut s’appuyer sur des exigences plus immédiates : tests avant diffusion, évaluation par des experts indépendants, procédures de signalement, transparence sur les limites du service, protections renforcées pour les mineurs et amélioration continue des réponses en cas de crise. La responsabilité ne repose pas uniquement sur l’utilisateur. Elle concerne aussi les choix de conception, les règles commerciales et le niveau de prudence adopté par les plateformes.

Ce qu’il faut surveiller dans les prochains mois

Le débat sur les chatbots et la santé mentale ne se résume pas à choisir entre interdiction totale et confiance aveugle. Il s’agit de déterminer dans quels cas ces outils peuvent apporter une aide limitée, et dans quels cas ils doivent s’effacer au profit d’un contact humain.

Plusieurs points méritent une attention particulière : la capacité des plateformes à mesurer les effets réels de leurs garde-fous, la manière dont elles protègent les adolescents, la qualité de l’orientation vers les professionnels, ainsi que la place donnée aux psychologues, psychiatres, associations et personnes concernées dans l’évaluation des produits.

Pour les utilisateurs et leurs proches, une règle demeure simple : une IA peut être un outil d’information ou de mise en forme de la pensée, mais elle ne doit pas devenir l’unique interlocuteur face à une souffrance psychique. Dès que la détresse s’installe, que l’isolement augmente ou que des idées de danger apparaissent, demander de l’aide à une personne réelle est la démarche la plus importante.