Une IA pour repérer les reportages scientifiques trompeurs, avec 75 % de précision

Un titre spectaculaire peut faire basculer le sens d’une découverte en quelques mots. Une étude qui observe une association devient alors la preuve d’une cause, une expérience préliminaire semble annoncer un traitement, ou les limites d’un résultat disparaissent derrière une promesse simplifiée. Pour aider à repérer ces glissements, une équipe du Stevens Institute of Technology a entraîné des modèles d’intelligence artificielle à confronter les reportages scientifiques aux travaux dont ils parlent.

Publié le 2 juin 2025, ce projet ne prétend pas décider seul de la vérité scientifique. Son ambition est plus précise : donner à une IA une méthode structurée pour vérifier si un article traduit fidèlement les éléments essentiels d’une recherche évaluée par les pairs. Les premiers résultats atteignent environ 75 % de précision pour séparer les reportages fiables des contenus non fiables. Un niveau encourageant, mais encore insuffisant pour se passer d’une lecture humaine attentive.

Pourquoi les reportages scientifiques sont-ils difficiles à vérifier ?

Le journalisme scientifique remplit une fonction essentielle : rendre des travaux parfois très techniques compréhensibles par le grand public. Cette traduction comporte néanmoins un risque. Entre les résultats d’une étude, ses réserves méthodologiques, le communiqué qui les présente et l’article qui les raconte, une information peut être raccourcie, exagérée ou sortie de son contexte.

L’une des erreurs les plus fréquentes consiste à confondre corrélation et causalité. Si deux phénomènes évoluent ensemble, cela ne signifie pas automatiquement que l’un provoque l’autre. Un reportage fiable doit également distinguer une hypothèse d’un résultat établi, une étude isolée d’un ensemble de preuves convergentes, ou encore une expérimentation en laboratoire d’une application déjà disponible.

Ces nuances deviennent d’autant plus importantes que les contenus circulent vite en ligne et que les outils de génération de texte permettent de produire, à grande échelle, des articles qui adoptent les codes de l’information scientifique. La difficulté n’est donc pas seulement de détecter une affirmation manifestement fausse. Il s’agit aussi de repérer des formulations plausibles qui déforment, parfois subtilement, la portée réelle d’une publication.

Un jeu de données de 2 400 reportages pour entraîner l’IA

Le point de départ des chercheurs est un jeu de données composé de 2 400 rapports sur des percées scientifiques. Il rassemble des articles provenant de sources réputées et de canaux moins fiables. Il inclut à la fois des contenus rédigés par des humains et des articles générés par IA. Selon la présentation du projet, la moitié des reportages est considérée comme fiable.

Cette diversité est déterminante pour entraîner un modèle de classement. Une IA qui ne verrait que de faux titres grossiers apprendrait surtout à reconnaître les indices les plus visibles de la désinformation. Or, dans la réalité, les articles trompeurs peuvent être bien écrits, employer un vocabulaire scientifique approprié et citer des chercheurs. À l’inverse, un article prudent peut rester accessible sans être trompeur.

Les chercheurs s’appuient notamment sur des résumés, aussi appelés abstracts, du corpus CORD-19. Dans la recherche scientifique, le résumé condense généralement la question posée, la méthode, les principaux résultats et les conclusions d’un article. Il est utile pour une première comparaison automatisée, même s’il ne contient pas tous les détails d’une publication complète.

Comment l’IA compare-t-elle un reportage à une étude ?

L’architecture proposée mobilise des modèles de langage, ces systèmes capables d’analyser et de générer du texte. Plutôt que de demander au modèle une impression générale sur la crédibilité d’un article, les chercheurs organisent son travail en trois étapes. Cette décomposition vise à rendre l’évaluation moins intuitive et davantage fondée sur les affirmations précises du reportage.

1. Résumer ce que dit le reportage

L’IA commence par résumer chaque rapport. Elle doit en extraire les éléments saillants : la découverte annoncée, les résultats mis en avant, les liens de cause à effet suggérés et les éventuelles promesses d’application. Cette étape transforme un texte journalistique, qui peut contenir des exemples, des déclarations ou un contexte, en une série de propositions vérifiables.

2. Mettre les affirmations face aux preuves

Le système procède ensuite à une comparaison phrase par phrase entre les affirmations du reportage et les éléments de preuve issus de la recherche évaluée par les pairs. L’enjeu est de constater si l’article rapporte ce que l’étude permet réellement de dire, plutôt que ce qu’il serait tentant d’en déduire.

Une telle comparaison peut par exemple révéler qu’un article présente un résultat limité comme une certitude générale, qu’il omet une condition importante de l’expérience ou qu’il attribue une relation causale là où l’étude ne rapporte qu’une association. Le modèle n’est pas chargé d’évaluer à lui seul toute la qualité scientifique du travail original. Il vérifie avant tout la fidélité du récit à cette recherche.

3. Rendre un jugement de fidélité

Enfin, l’IA détermine si le reportage est fidèle à l’étude originale. Cette décision correspond au classement final entre contenu fiable et contenu non fiable. En structurant le raisonnement autour de propositions à contrôler, la méthode cherche à éviter qu’un texte soit jugé crédible uniquement parce qu’il est fluide, rassurant ou rempli de termes techniques.

Les « dimensions de validité » pour mieux caractériser les erreurs

L’équipe a défini des « dimensions de validité », c’est-à-dire des critères destinés à examiner plus rigoureusement la nature des inexactitudes possibles. Au lieu de traiter tous les problèmes comme une unique étiquette de « fake news », cette grille aide l’IA à identifier les mécanismes par lesquels un récit s’éloigne de son étude de référence.

Parmi les erreurs mentionnées figurent la simplification excessive et la confusion entre causalité et corrélation. Ce sont des défauts qui peuvent passer inaperçus pour un lecteur pressé, précisément parce qu’ils ne prennent pas nécessairement la forme d’un mensonge frontal. Ils peuvent toutefois changer la manière dont une découverte est comprise, notamment en santé, en environnement ou dans les technologies émergentes.

Selon K. P. Subbalakshmi, l’utilisation de ces critères a amélioré de façon substantielle l’exactitude des évaluations réalisées par l’IA. La leçon est importante : la performance d’un système de détection dépend non seulement de la puissance du modèle de langage, mais aussi de la qualité des questions qu’on lui demande de résoudre et des catégories d’erreurs qu’on lui apprend à reconnaître.

Des résultats prometteurs, mais un obstacle face aux textes générés par IA

Les pipelines développés par l’équipe distinguent les reportages fiables des reportages non fiables avec une précision d’environ 75 %. Autrement dit, le système classe correctement une part importante des contenus testés, sans toutefois être infaillible. Dans un domaine où une erreur peut conduire à signaler à tort un article sérieux, ou au contraire laisser passer un récit trompeur, ce point mérite une attention particulière.

Les résultats sont plus marquants pour les contenus issus de l’écriture humaine. La détection des erreurs dans les articles générés par IA reste, elle, un défi persistant. Les chercheurs indiquent que les raisons de cette différence ne sont pas encore entièrement élucidées.

Cette difficulté est cohérente avec le problème auquel la recherche s’attaque. Un texte généré par IA peut reproduire une structure journalistique convaincante et enchaîner des phrases grammaticalement correctes. Sa forme ne suffit donc pas à renseigner sur la fidélité de ses affirmations. Le contrôle doit revenir au fond du texte, aux preuves citées et aux limites qui ont éventuellement été oubliées.

À quoi pourrait servir un tel outil ?

La perspective la plus concrète évoquée par l’équipe est celle de plugins de navigateur. Lors de la lecture d’un article en ligne, un outil pourrait signaler des affirmations inexactes ou attirer l’attention sur un écart avec l’étude concernée. Dans un usage responsable, ce type de signal devrait inviter à vérifier et à consulter le travail original, non distribuer mécaniquement des bons et des mauvais points.

Les travaux pourraient aussi conduire à des classements d’éditeurs selon leur capacité à relater fidèlement les découvertes scientifiques. Cette possibilité soulève un enjeu méthodologique : un classement ne serait utile que s’il repose sur des critères transparents, des corpus représentatifs et des mécanismes de contestation. Les domaines scientifiques, les formats d’articles et la qualité des études citées varient fortement.

Pour les journalistes, les chercheurs et les professionnels de santé, l’intérêt potentiel est surtout celui d’un assistant de vérification. Il pourrait aider à retrouver les formulations qui méritent une relecture approfondie : une conclusion trop catégorique, une promesse sans preuve suffisante ou une extrapolation qui dépasse les données disponibles. Pour le grand public, il offrirait un repère supplémentaire dans un environnement où l’apparence scientifique ne garantit pas la rigueur.

Pourquoi des modèles spécialisés pourraient être nécessaires

L’équipe envisage de développer des modèles propres à certains domaines de recherche. L’idée est de rapprocher davantage le raisonnement du système de celui de spécialistes humains. Un modèle entraîné avec les notions, les méthodes et les formulations d’une discipline pourrait mieux apprécier le sens précis d’une affirmation qu’un outil généraliste.

Cette spécialisation peut être particulièrement pertinente lorsque les termes ont une signification technique, lorsqu’une même expression ne recouvre pas la même réalité selon la discipline, ou lorsque l’interprétation dépend d’un protocole expérimental complexe. Elle ne ferait pas pour autant disparaître le besoin d’expertise humaine. Comprendre les mécanismes d’une IA appliquée aux sciences reste, selon les chercheurs, une condition pour améliorer les outils d’analyse.

Les modèles de langage conservent en effet une limite majeure : ils peuvent produire des hallucinations, c’est-à-dire des informations erronées formulées de manière plausible. Un système destiné à détecter la désinformation doit donc être lui-même conçu pour limiter les réponses non étayées et rester rattaché à des sources scientifiques identifiables.

Ce qu’il faut surveiller

La recherche du Stevens Institute of Technology propose une piste concrète face à un problème croissant : vérifier non seulement si un article parle de science, mais s’il rapporte fidèlement ce que la science a effectivement établi. Son résultat d’environ 75 % montre qu’une automatisation partielle est envisageable, tout en rappelant que la fiabilité ne se résume pas à un score.

Les prochaines étapes seront décisives. Il faudra comprendre pourquoi les contenus générés par IA posent davantage de difficultés, mesurer les performances dans différentes disciplines et définir la place exacte de ces outils dans le travail des rédactions, des plateformes et du public. La promesse la plus utile n’est pas une machine qui trancherait seule le vrai du faux, mais une aide capable de rendre les vérifications scientifiques plus accessibles, plus explicites et plus systématiques.