Elsa, l’IA de la FDA, confrontée aux hallucinations et aux doutes des employés

Elsa devait incarner une administration sanitaire plus rapide, mieux outillée et capable d’exploiter la masse de documents scientifiques qui nourrit ses décisions. Pourtant, quelques semaines après son introduction à la Food and Drug Administration, ou FDA, l’assistant d’intelligence artificielle suscite déjà une méfiance marquée chez une partie de ses utilisateurs. En cause : des réponses fausses, des erreurs dans l’analyse de données et, plus préoccupant encore, la production de références scientifiques qui n’existent pas.

Le sujet dépasse le sort d’un simple outil informatique. La FDA est l’agence fédérale américaine chargée notamment d’évaluer et de surveiller des produits de santé, dont les médicaments. Dans une telle institution, gagner du temps est utile, mais une information erronée peut surtout faire perdre ce temps, compliquer une expertise et fragiliser la confiance dans le processus d’évaluation. L’expérience d’Elsa met ainsi en lumière une tension centrale de l’IA générative : son potentiel de productivité face à son incapacité persistante à garantir la véracité de chaque réponse.

Elsa, un assistant pour moderniser le travail de la FDA

La FDA a présenté Elsa comme un assistant fondé sur l’intelligence artificielle, conçu pour moderniser le fonctionnement de l’agence. Ses usages envisagés couvrent plusieurs activités où les équipes doivent traiter une quantité considérable d’informations : améliorer l’efficacité des essais cliniques, contribuer à l’évaluation de médicaments et aider à prioriser les inspections.

L’ambition est compréhensible. Les autorités sanitaires manipulent des dossiers réglementaires, des publications, des données d’essais, des informations d’étiquetage et de nombreux échanges techniques. Un assistant capable de retrouver, résumer ou organiser rapidement ces éléments pourrait réduire certaines tâches répétitives et laisser davantage de temps aux experts pour l’analyse de fond.

Mais l’outil ne remplace pas, en théorie comme en pratique, le jugement des scientifiques, des médecins, des inspecteurs et des évaluateurs de la FDA. Une IA générative produit du texte en identifiant les suites de mots les plus plausibles à partir des données sur lesquelles elle a été entraînée et de la consigne qui lui est adressée. Cette méthode peut fournir une réponse fluide et convaincante sans garantir qu’elle est exacte.

C’est précisément le problème rapporté par plusieurs salariés : lorsque l’assistant est utilisé pour retrouver ou synthétiser des informations scientifiques, une réponse plausible mais fausse n’est pas une simple approximation. Elle doit être repérée, contrôlée et corrigée par un humain.

Que reprochent les employés de la FDA à Elsa ?

Une enquête de CNN, fondée sur les témoignages anonymes de six employés de la FDA, décrit un décalage entre les promesses de l’outil et son utilité au quotidien. Les salariés interrogés estiment qu’Elsa ne fournit pas systématiquement des résultats fiables, au point que son emploi peut ajouter une étape de vérification au lieu d’accélérer le travail.

Leur critique ne porte donc pas sur le principe même d’utiliser l’IA, mais sur les conditions dans lesquelles elle peut être employée. Si chaque résultat exige une vérification approfondie, le bénéfice attendu en matière de productivité devient incertain. L’assistant peut toujours servir de point de départ ou de moteur de recherche conversationnel, mais il ne peut pas être traité comme une source faisant autorité.

Cette remarque résume un défi bien connu des grands modèles de langage : une IA peut restituer correctement une information présente dans ses données, mal interpréter une demande, mélanger des éléments réels ou inventer une réponse lorsqu’elle ne dispose pas de la bonne information. Dans tous ces cas, le ton assuré de la réponse ne constitue pas une preuve.

Des études inventées et des réponses erronées

Les témoignages recueillis par CNN font état de plusieurs dysfonctionnements concrets. Le plus sensible concerne les hallucinations, le terme employé pour désigner des contenus fabriqués par une IA et présentés comme s’ils étaient réels. Dans le cas d’Elsa, des employés rapportent que l’outil a pu générer des études scientifiques inexistantes.

Dans un environnement de recherche ou de régulation, une référence inventée est particulièrement problématique. Une étude citée par une IA peut paraître crédible en raison de son titre, de son auteur supposé ou de son sujet. Pourtant, si elle n’existe pas, elle ne permet ni d’étayer une décision ni de vérifier une affirmation. La personne qui utilise l’outil doit donc rechercher la publication originale, contrôler son existence et examiner son contenu réel.

D’autres exemples illustrent les limites rapportées : lors d’une analyse de données, Elsa s’est trompée sur le nombre de produits portant une étiquette spécifique. Après avoir présenté ses excuses, l’outil n’a pas été capable de fournir la bonne réponse. Des salariés ont également observé des réponses erronées à des questions relatives à des médicaments destinés aux enfants.

Aucun des éléments rapportés ne signifie qu’Elsa décide seule de l’autorisation d’un médicament ou qu’une erreur de l’outil a directement affecté un patient. En revanche, ils rappellent que la place d’une IA dans une chaîne de décision dépend de la possibilité de vérifier facilement et rapidement ce qu’elle affirme.

Pourquoi les hallucinations sont-elles si difficiles à accepter en santé ?

Dans un usage quotidien, une réponse erronée d’un assistant conversationnel peut être gênante, mais elle est parfois facile à rectifier. Dans le domaine de la santé publique, les exigences changent d’échelle. Les dossiers peuvent toucher à l’efficacité d’un traitement, à ses effets indésirables, à ses conditions d’utilisation ou à son étiquetage. L’exactitude des sources et des données est donc une condition de base du travail scientifique et réglementaire.

Les hallucinations ne sont pas nécessairement des erreurs volontaires. Une IA ne « sait » pas qu’elle invente au sens humain du terme. Elle génère une réponse qui correspond statistiquement à la demande reçue. C’est pourquoi une réponse fausse peut sembler structurée, détaillée et même accompagnée de citations apparemment plausibles.

Le danger est alors double : croire une information erronée, ou consacrer tellement de temps à la contrôler que l’outil cesse d’être un accélérateur. Dans une agence telle que la FDA, l’objectif raisonnable n’est pas d’éliminer l’expertise humaine, mais de définir les tâches pour lesquelles l’IA apporte un appui réellement vérifiable.

Des promesses d’efficacité à confronter au contrôle humain

Le déploiement d’Elsa s’inscrit dans une volonté plus vaste d’introduire rapidement l’IA au sein de l’administration fédérale. Le projet avait débuté sous l’administration de Joe Biden, mais son intégration et son lancement ont pris davantage d’ampleur après l’arrivée de Donald Trump à la présidence.

Cette accélération intervient dans un contexte délicat pour la FDA. L’agence a subi des réductions d’effectifs estimées à environ 20 %. Dans une organisation soumise à de fortes contraintes de ressources, une technologie promettant d’alléger certaines charges administratives et documentaires peut apparaître comme une réponse évidente.

Marty Makary, nommé à la tête de la FDA par Donald Trump, s’est félicité d’une mise en place « plus rapide que prévu et sous le budget ». Ces deux critères, la vitesse et le coût, comptent pour tout projet public. Ils ne suffisent toutefois pas à mesurer la qualité d’un outil destiné à assister des travaux scientifiques. Sa précision, la traçabilité de ses réponses et le temps nécessaire à leur contrôle sont tout aussi importants.

La réponse de la FDA : améliorer l’outil et mieux formuler les demandes

Face aux critiques, Jeremy Walsh, responsable de la FDA, défend le potentiel d’Elsa. Il indique que l’outil est en cours d’amélioration et avance qu’une formulation plus précise des questions peut réduire le risque d’hallucination.

Cette idée correspond à une réalité des IA conversationnelles : une demande vague peut favoriser les réponses générales, incomplètes ou mal ciblées, tandis qu’une instruction précise peut améliorer la pertinence du résultat. Demander à un outil de préciser ses sources, de signaler ses incertitudes ou de s’en tenir à un corpus clairement identifié peut aussi aider l’utilisateur à mieux cadrer sa recherche.

Cependant, la précision de la question ne transforme pas automatiquement l’IA en base de données certifiée. Même avec une consigne détaillée, une erreur reste possible. Dans le cas d’Elsa, les témoignages rapportés montrent que la méthode ne peut fonctionner qu’avec des procédures de vérification systématiques, particulièrement lorsqu’il s’agit de résultats scientifiques ou de médicaments.

La voie la plus prudente consiste donc à réserver l’outil à des tâches où l’humain garde une capacité de contrôle claire : préparer une première synthèse, organiser des informations, aider à rédiger ou orienter une recherche. À l’inverse, les éléments qui servent directement de fondement à une évaluation doivent pouvoir être confirmés par des documents et des données fiables.

Ce que l’affaire Elsa dit de la régulation de l’IA

L’épisode intervient alors que de nombreuses institutions publiques et privées cherchent à adopter l’IA générative. Il ne prouve pas que cette technologie serait incompatible avec la santé ou la science. Il montre plutôt que la question essentielle n’est pas seulement « faut-il utiliser l’IA ? », mais « pour quelles tâches, avec quelles limites et sous quel contrôle ? ».

Les règles d’usage sont particulièrement importantes dans les secteurs à fort enjeu, comme la santé, la finance ou les administrations chargées de décisions réglementaires. Les initiatives du Royaume-Uni et de Singapour pour encadrer l’IA dans la finance illustrent cette recherche d’un équilibre entre innovation, contrôle des risques et protection des données.

Pour la FDA, l’enjeu est de démontrer que les gains espérés avec Elsa ne se font pas au détriment de la fiabilité scientifique. L’agence devra notamment suivre les améliorations annoncées, clarifier les usages où l’assistant est autorisé et maintenir une responsabilité humaine identifiable pour chaque décision importante.

À court terme, le cas d’Elsa rappelle une règle simple : plus une information est susceptible d’influencer la santé publique, moins il est acceptable de la considérer comme vraie parce qu’une IA l’a formulée avec assurance. L’innovation peut accélérer le travail, mais elle ne dispense ni de la preuve, ni de la vérification, ni du jugement humain.