Culture et médias

Actualités et IA : l’enquête de la BBC alerte sur les erreurs des chatbots

Les assistants d’IA promettent de résumer l’actualité en quelques secondes. Mais une étude de la BBC publiée le 11 février 2025 relève des erreurs factuelles, des citations déformées et des informations périmées dans les réponses de ChatGPT, Copilot, Gemini et Perplexity. De quoi rappeler les limites de ces outils lorsqu’il s’agit de s’informer.

Une personne vérifie une réponse de chatbot en la comparant à des articles d’actualité imprimés.
Illustration : Actu.ai

Les chatbots peuvent donner l’impression de répondre avec l’assurance d’un journaliste qui aurait lu, recoupé et hiérarchisé une information. Pourtant, leur ton fluide ne garantit ni l’exactitude des faits, ni la fraîcheur des données, ni la fidélité aux sources. C’est le constat préoccupant d’une étude publiée par la BBC le 11 février 2025, après avoir soumis quatre assistants d’intelligence artificielle à des questions portant sur son propre travail journalistique.

ChatGPT, Copilot, Gemini et Perplexity ont été testés sur leur capacité à restituer l’actualité à partir d’articles de la BBC. Le résultat ne signifie pas que chaque réponse produite par ces services est fausse. Il montre en revanche qu’une part importante de leurs réponses peut contenir des défauts suffisamment sérieux pour induire le lecteur en erreur, y compris lorsqu’elles s’appuient en apparence sur une source identifiée.

Une méthode fondée sur 100 questions d’actualité

Pour son enquête, la BBC a formulé 100 questions à destination de quatre assistants d’IA générative : ChatGPT, Copilot de Microsoft, Gemini de Google et Perplexity. Les réponses devaient s’appuyer sur des articles publiés par BBC News. Elles ont ensuite été examinées par des journalistes de la BBC, en les comparant aux contenus de référence de la rédaction.

L’intérêt de cette méthode est simple : elle ne juge pas seulement si une réponse paraît plausible. Elle vérifie si elle restitue correctement ce qu’un article a effectivement établi. Dans l’actualité, cette nuance est essentielle. Un chiffre arrondi, une fonction politique qui n’est plus occupée ou une citation légèrement modifiée peuvent changer la compréhension d’un sujet.

Élément évaluéRésultat de l’étude de la BBC
Assistants testésChatGPT, Copilot, Gemini et Perplexity
Questions posées100 questions fondées sur des articles de BBC News
Réponses avec un problème significatif51 %
Réponses contenant une erreur factuelleEnviron 20 %
Citations BBC altérées ou absentes des articlesPrès de 13 %

La BBC qualifie de « problèmes significatifs » plusieurs types de défauts : inexactitudes, manque de contexte, sources présentées de façon trompeuse ou confusion entre opinion, information récente et fait établi. Le chiffre de 51 % ne veut donc pas dire que la moitié des réponses étaient entièrement erronées. Il indique qu’au moins un problème important a été relevé dans plus d’une réponse sur deux.

Quelles erreurs les chatbots ont-ils commises ?

L’enquête relève d’abord des erreurs factuelles classiques : des chiffres, des dates ou des déclarations rapportés incorrectement. Mais les exemples recensés illustrent aussi un problème plus spécifique à l’information en continu : l’incapacité de certains systèmes à tenir compte d’un changement récent.

Ainsi, les assistants ont présenté Rishi Sunak et Nicola Sturgeon comme des responsables encore en fonction, alors que ce n’était plus le cas. Ils ont aussi fourni des conseils inexacts sur le vapotage. Ces décalages peuvent sembler mineurs face à une information spectaculaire, mais ils sont précisément difficiles à repérer pour une personne qui consulte un chatbot afin d’obtenir une réponse rapide.

D’autres erreurs portent sur des affaires sensibles, où le contexte n’est pas facultatif :

  • Une réponse de Gemini sur la culpabilité de la nourrice néonatale Lucy Letby ne précisait pas le contexte de ses condamnations pour meurtre.
  • Copilot a déformé le récit concernant Gisèle Pelicot, victime dans une affaire très médiatisée.
  • ChatGPT a présenté Ismail Haniyeh comme un membre actif du Hamas plusieurs mois après sa mort en Iran.

La BBC a également constaté des problèmes de traçabilité. Dans près de 13 % des réponses, des citations attribuées à la BBC étaient soit altérées, soit absentes de l’article auquel elles renvoyaient. Pour un lecteur, l’habillage d’une citation ou d’une référence médiatique peut donner une impression de sérieux. Si le propos cité n’existe pas, ou s’il est reformulé au point d’en changer le sens, cette confiance devient mal placée.

Réponses d’actualité par IA : la promesse face aux constats de l’étude

Ce que promettent les assistants

  • Une réponse immédiate à une question d’actualité.
  • Une synthèse accessible d’articles parfois complexes.
  • Des références qui semblent permettre de remonter aux sources.
  • Un accès conversationnel à de nombreux sujets d’information.

Ce que la BBC a observé

  • 51 % des réponses présentaient au moins un problème significatif.
  • Environ 20 % comportaient une erreur factuelle.
  • Certaines informations étaient périmées ou dépourvues de contexte essentiel.
  • Près de 13 % des citations BBC étaient altérées ou introuvables dans les articles.

Pourquoi une réponse convaincante peut-elle être inexacte ?

Un assistant conversationnel n’est pas, par nature, un moteur de vérification des faits. Les grands modèles de langage produisent du texte en calculant la suite de mots la plus plausible au regard des données qu’ils ont apprises et, selon les services, des contenus qu’ils peuvent retrouver en ligne. Leur objectif immédiat est de formuler une réponse cohérente. Ce mécanisme peut fabriquer une phrase très crédible sans que chaque élément ait été contrôlé comme le ferait un journaliste.

Plusieurs faiblesses se cumulent lorsqu’il est question d’actualité :

  • La temporalité : une fonction, une décision de justice ou un bilan peuvent évoluer en quelques heures.
  • Le contexte : une réponse peut extraire un fait correct, mais omettre la précision qui en limite ou en explique la portée.
  • L’attribution : le système peut associer à une source sérieuse une citation ou une formulation qui ne s’y trouve pas.
  • La synthèse : en condensant plusieurs articles ou éléments, l’outil peut mélanger des périodes, des personnes ou des affirmations distinctes.

On parle souvent d’« hallucination » pour désigner une information inventée par un modèle. Le terme ne doit pas faire oublier l’enjeu concret : dans un contexte d’actualité, une erreur peut concerner une personnalité publique, une crise internationale, une affaire judiciaire ou un conseil de santé. Le lecteur ne dispose pas toujours des éléments nécessaires pour la détecter.

La BBC appelle les acteurs de l’IA à prendre leurs responsabilités

Pour Deborah Turness, directrice générale de l’information de la BBC, ces résultats sont préoccupants. Dans un billet publié avec l’étude, elle estime que les assistants d’IA « jouent avec le feu » en fragilisant la confiance du public dans les faits.

Son inquiétude ne vise pas seulement les erreurs isolées. Les médias d’information reposent sur des méthodes de collecte, de vérification, de correction et de mise en contexte. Si un assistant réutilise des contenus journalistiques tout en les déformant, il peut bénéficier de la crédibilité de la source sans respecter les standards qui ont permis de produire cette information.

La BBC ne se limite pas à un constat d’échec. Elle appelle à travailler avec les entreprises qui développent ces outils afin d’améliorer la précision des réponses générées à partir de contenus d’actualité. Cet appel pose notamment la question du contrôle des éditeurs sur l’emploi de leurs articles, de la transparence des sources et des mécanismes de correction quand une réponse est fausse.

Le sujet avait déjà été mis en lumière par les résumés d’actualité automatisés. Apple avait notamment suspendu ses alertes d’actualité marquées BBC après des problèmes de contenu inexact. Le cas rappelle qu’un résumé très court peut être utile, mais qu’il laisse peu de place aux nuances nécessaires pour comprendre une information complexe.

Peut-on utiliser un chatbot pour suivre l’actualité ?

Oui, mais pas comme une source finale, surtout sur un sujet important ou en évolution. Un chatbot peut être pratique pour repérer les grandes lignes d’un dossier, préparer une liste de questions, expliquer un terme ou retrouver les noms des principaux acteurs. Il devient plus risqué lorsqu’il est utilisé comme unique intermédiaire entre un événement et le public.

Quelques réflexes permettent de réduire le risque d’être mal informé :

  • Consulter directement un média reconnu ou une source primaire, notamment pour les déclarations officielles et les décisions de justice.
  • Vérifier la date de l’information. Une réponse exacte il y a six mois peut être fausse aujourd’hui.
  • Demander la source précise, puis contrôler que la citation et les faits apparaissent bien dans le document original.
  • Croiser les informations quand l’enjeu est élevé : santé, sécurité, politique, guerre, finances ou affaires judiciaires.
  • Se méfier d’une réponse trop catégorique lorsqu’un événement est récent, contesté ou encore en cours.

Ces précautions ne sont pas réservées aux spécialistes. Elles correspondent à des pratiques ordinaires d’éducation aux médias : identifier l’origine d’une affirmation, vérifier son contexte et distinguer un fait établi d’une interprétation. L’IA peut accélérer l’accès à des textes, mais elle ne remplace pas ce travail de jugement.

Une question de confiance dans l’information

La désinformation produite ou amplifiée par l’IA ne se réduit pas à de faux contenus spectaculaires, comme les images truquées ou les deepfakes. Elle peut aussi prendre une forme discrète : un détail erroné dans une synthèse, une source mal attribuée, une citation reformulée ou un contexte manquant. C’est cette apparente banalité qui rend le phénomène délicat à combattre.

Dans une démocratie, les citoyens doivent pouvoir s’appuyer sur des faits suffisamment fiables pour comprendre les choix politiques, les crises et les débats collectifs. Si les outils les plus utilisés pour poser une question d’actualité délivrent des réponses incertaines avec un ton d’autorité, ils peuvent brouiller la frontière entre une information vérifiée, une approximation et une invention.

Cela ne signifie pas que les chatbots sont condamnés à désinformer. Leurs concepteurs peuvent améliorer la mise à jour des données, l’affichage des sources, les avertissements sur l’incertitude et les systèmes de correction. Mais l’étude de la BBC montre qu’en février 2025, ces garanties ne suffisent pas encore à faire d’un assistant conversationnel un substitut fiable à la consultation d’un article original.

Ce qu’il faut surveiller

La suite dépendra autant des progrès techniques que des règles adoptées par les plateformes et les éditeurs. Les utilisateurs ont besoin de savoir sur quelles sources une réponse repose, à quelle date elles ont été publiées et comment signaler une erreur. Les médias, eux, cherchent à préserver l’intégrité de leurs contenus lorsqu’ils sont résumés par des outils tiers.

La question centrale est donc moins de savoir si l’IA peut produire une réponse rapide, elle le fait déjà, que de déterminer dans quelles conditions elle peut être considérée comme fiable. Tant que les réponses sur l’actualité comporteront des erreurs factuelles, des citations infidèles ou des contextes manquants, le bon réflexe restera le même : utiliser le chatbot comme un point de départ, puis remonter à l’information vérifiée.

Questions fréquentes

Que révèle exactement l’étude de la BBC sur les chatbots IA ?

L’étude publiée le 11 février 2025 a évalué 100 réponses de ChatGPT, Copilot, Gemini et Perplexity à des questions fondées sur des articles de BBC News. Les journalistes chargés de l’analyse ont identifié au moins un problème significatif dans 51 % des réponses, notamment des erreurs factuelles, des contextes incomplets et des citations incorrectement attribuées.

Pourquoi les chatbots IA donnent-ils de fausses informations sur l’actualité ?

Les assistants génératifs produisent des réponses plausibles, mais ne vérifient pas les faits comme le ferait une rédaction. Ils peuvent s’appuyer sur des informations périmées, mélanger plusieurs éléments ou omettre une nuance essentielle. Lorsqu’ils citent une source, ils peuvent aussi en déformer le contenu. Ces limites sont particulièrement problématiques pour une actualité qui évolue vite.

Peut-on faire confiance à ChatGPT, Gemini ou Copilot pour suivre les informations ?

Ils peuvent aider à comprendre un sujet ou à obtenir un premier résumé, mais ne doivent pas être la seule source pour une information importante. Il est préférable de vérifier les faits dans la publication d’origine, de contrôler la date et de croiser les sources. Cette précaution est essentielle pour la politique, la santé, la justice, la sécurité ou les crises internationales.

Les citations affichées par un chatbot sont-elles fiables ?

Pas systématiquement. La BBC a constaté que près de 13 % des citations qui lui étaient attribuées dans les réponses testées étaient soit modifiées, soit absentes des articles de référence. Une citation doit donc être vérifiée dans son contexte original. Le nom d’un média sérieux affiché par un assistant ne constitue pas, à lui seul, une garantie d’exactitude.

Comment vérifier une information donnée par une IA ?

Commencez par demander ou repérer la source précise, puis ouvrez le document d’origine. Vérifiez la date, le nom des personnes citées, les chiffres et la formulation exacte des déclarations. Pour une information sensible ou récente, comparez avec plusieurs médias reconnus ou avec une source officielle. Une réponse concise et assurée peut malgré tout contenir une erreur importante.

Sources

Références consultées pour la rédaction de cet article. Les adresses sont indiquées à titre informatif et ne sont pas des liens.

  1. BBC Media Centre, communications et études de la BBC sur l’information et l’intelligence artificiellewww.bbc.com/mediacentre