Détecter les fake news : ce modèle analyse ensemble le texte et l’image

Une publication accompagnée d’une image ne se résume jamais à son texte. Une photographie sortie de son contexte, un visuel ancien présenté comme actuel ou une image conçue pour provoquer une réaction émotionnelle peuvent modifier profondément la manière dont un lecteur interprète un message. C’est précisément cette association entre mots et images que des chercheurs taïwanais ont choisi d’exploiter pour améliorer la détection automatisée des fausses informations.

Dans une étude publiée en 2024, Szu-Yin Lin, Chen et leurs collègues, issus de l’Université nationale Yang Ming Chiao Tung, de l’Université Chung Hua et de l’Université nationale Ilan, présentent un modèle dit multimodal. Son principe est de traiter simultanément le texte d’un contenu et l’image qui l’accompagne, plutôt que de chercher des indices dans une seule de ces deux sources. Testée sur deux jeux de données couramment employés dans la recherche, la méthode affiche une précision allant jusqu’à 90 %.

L’ambition n’est pas de confier à une machine le pouvoir de décider seule de ce qui est vrai. Il s’agit plutôt de développer des outils capables de repérer plus efficacement des contenus suspects, afin d’aider à la modération, à la vérification et à l’analyse de grands volumes de publications.

Pourquoi le texte seul ne suffit-il pas à repérer une fausse information ?

Les outils de détection automatique analysent souvent le langage : choix des mots, formulation d’un titre, tonalité, cohérence d’un récit ou présence de certains signaux statistiques. Ces approches sont utiles, mais elles ont une limite évidente : un texte peut paraître parfaitement plausible tout en étant associé à une image trompeuse.

À l’inverse, une photographie authentique ne garantit pas qu’une publication est fiable. Elle peut avoir été prise à une autre date, dans un autre lieu, ou être utilisée pour illustrer un événement sans rapport avec la légende. Dans les publications des réseaux sociaux et les articles en ligne, le sens est fréquemment produit par la combinaison des deux éléments.

Les systèmes qualifiés de monocanaux ne prennent en compte qu’une modalité à la fois : soit le texte, soit l’image. Les travaux antérieurs se sont largement concentrés sur les caractéristiques isolées des contenus trompeurs. L’équipe de recherche estime au contraire que la relation entre le visuel et l’écrit constitue une information utile pour la classification.

Cette logique prend une importance particulière à mesure que les outils numériques facilitent la production et la diffusion de textes, d’images ou de contenus audiovisuels réalistes. Pour la recherche, analyser séparément chaque composante d’une publication risque donc de laisser échapper des signaux importants.

Comment fonctionne le modèle multimodal proposé ?

Le cadre élaboré par les chercheurs suit plusieurs étapes. Il commence par un nettoyage des données, indispensable pour retirer ou normaliser les éléments qui ne contribuent pas utilement à l’analyse. Le système extrait ensuite des caractéristiques du texte et de l’image. Ces caractéristiques sont des représentations numériques permettant à un modèle d’apprentissage automatique de comparer les contenus et de chercher des régularités.

L’étape déterminante est celle de la fusion. L’étude examine plusieurs façons d’intégrer les informations textuelles et visuelles : la fusion précoce, la fusion conjointe et la fusion tardive.

Dans les trois cas, l’objectif est le même : ne plus considérer l’image comme un simple décor, ni le texte comme une information autosuffisante. Le modèle doit apprendre à tirer parti de leur association pour classer une publication comme relevant ou non des fausses informations, selon les annotations présentes dans les bases d’évaluation.

Cette méthode se distingue donc des modèles de langage utilisés seuls, tels que BERT, qui analysent essentiellement le texte. BERT est un modèle conçu pour comprendre les relations entre les mots dans une phrase ou un document. Il peut être performant dans de nombreuses tâches linguistiques, mais il ne voit pas l’image qui accompagne un article s’il n’est pas associé à un module visuel.

Quels résultats sur GossipCop et Fakeddit ?

Pour évaluer leur approche, les chercheurs ont utilisé GossipCop et Fakeddit, deux jeux de données régulièrement mobilisés dans les études sur la détection des fausses informations. Ils rassemblent des contenus annotés, ce qui permet de comparer les performances de différents modèles dans un cadre défini.

Les résultats publiés indiquent un avantage net pour le modèle multimodal sur les approches monocanales précédemment évaluées. Ces dernières affichaient une précision de 72 % et 65 % sur les deux ensembles de données. Le modèle de fusion texte-image atteint, lui, 85 % sur GossipCop et 90 % sur Fakeddit.

La précision mesure la part des classifications correctes sur l’ensemble des contenus évalués. Mais elle ne raconte pas tout, notamment lorsque les catégories sont inégalement représentées dans un jeu de données. C’est pourquoi les chercheurs indiquent aussi le score F1. Cet indicateur combine la capacité du système à retrouver les contenus relevant d’une catégorie et sa capacité à éviter les faux positifs. Les scores de 90 % et 88 % rapportés dans l’étude témoignent d’une performance élevée sur ces données de test.

Les auteurs notent également que les résultats varient selon les périodes d’entraînement. Ce point rappelle qu’un modèle n’est pas une règle universelle : ses performances dépendent des données qu’il a vues, de leur qualité et de leur proximité avec les contenus qu’il doit ensuite analyser.

Pourquoi ces chiffres ne remplacent pas la vérification des faits

L’intérêt de ces travaux est réel : ils montrent qu’une IA peut exploiter davantage de contexte en regardant à la fois les mots et les images. Toutefois, classifier un contenu dans un jeu de données n’équivaut pas à mener une vérification journalistique complète.

La vérification des faits repose souvent sur des éléments externes à la publication elle-même : date de prise de vue, lieu, identité de la source initiale, documents officiels, témoignages recoupés ou contexte géopolitique. Un système entraîné sur un texte et une image peut détecter des corrélations utiles, sans pour autant établir l’origine exacte d’une photographie ou démontrer qu’une affirmation est fausse.

Il existe aussi un risque classique de l’apprentissage automatique : le modèle peut apprendre des indices propres à sa base d’entraînement plutôt que des signes généralisables de désinformation. Par exemple, la mise en page, le style rédactionnel ou certains thèmes fréquents peuvent être corrélés aux étiquettes attribuées dans les données. De bons résultats dans un test ne garantissent donc pas automatiquement la même efficacité sur des publications nouvelles, dans une autre langue ou dans un autre contexte culturel.

Pour un lecteur, la meilleure utilisation possible de tels systèmes serait celle d’un outil de signalement ou de priorisation. Ils pourraient aider des équipes humaines à repérer plus vite des publications nécessitant une attention particulière. La décision finale, surtout lorsqu’elle peut affecter la visibilité d’un contenu ou la réputation d’une source, exige une analyse rigoureuse et explicable.

Des usages possibles pour les plateformes et les médias

Un modèle capable d’analyser texte et image pourrait s’intégrer à plusieurs étapes de la circulation de l’information en ligne. Les plateformes font face à des volumes de publications incompatibles avec un examen humain systématique. Une première analyse automatisée peut donc servir à classer les contenus par niveau de risque supposé.

Dans les rédactions et les organisations de vérification, des outils de ce type pourraient également faciliter le tri initial. Une alerte ne constituerait pas une preuve, mais elle orienterait l’attention vers une publication présentant une incohérence entre son image et son texte, ou des caractéristiques associées à des contenus déjà identifiés comme trompeurs.

Le modèle présenté reste toutefois évalué sur des données de référence. Son application concrète supposerait de tester sa robustesse sur des contenus réels, récents et variés. Elle imposerait aussi de tenir compte des langues, des conventions visuelles locales et de l’évolution rapide des techniques de manipulation numérique.

Ce qu’il faut surveiller

L’étude de Lin, Chen et leurs collègues apporte un résultat clair : dans leurs expériences, la fusion du texte et de l’image améliore fortement la détection des fausses informations par rapport aux méthodes à une seule modalité. Les écarts observés sur GossipCop et Fakeddit, de 85 % et 90 % de précision pour le modèle proposé, invitent à poursuivre cette voie.

La prochaine étape consiste à vérifier si cette performance se maintient hors des ensembles de données de référence. Des tests sur des publications plus proches du web quotidien, dans des langues différentes et face à de nouvelles formes de contenus manipulés seront nécessaires. Les chercheurs envisagent d’ailleurs d’évaluer le modèle sur d’autres jeux de données et sur des données réalistes.

À plus long terme, l’analyse multimodale pourrait aussi s’étendre à d’autres formats, notamment aux publications sociales réunissant texte, image et vidéo. Plus les systèmes pourront contextualiser les éléments d’un message, plus ils seront susceptibles de repérer des anomalies. Mais leur rôle devra rester complémentaire de l’enquête, de la transparence des plateformes et de l’esprit critique des lecteurs.