ChatGPT Search : les tests qui alertent sur des réponses manipulées

Une recherche assistée par intelligence artificielle ne se contente pas d’afficher une liste de liens : elle lit des pages, sélectionne des éléments et les reformule dans une réponse directe. C’est précisément cette capacité de synthèse qui peut devenir un point faible. Des tests menés par des chercheurs montrent que l’outil de recherche de ChatGPT peut être influencé par des consignes cachées dans les contenus qu’il consulte, au risque de produire des réponses biaisées ou trompeuses.

Le sujet dépasse la simple erreur factuelle. Lorsqu’un assistant est utilisé pour comparer un produit, comprendre un service, chercher un logiciel ou récupérer du code, une réponse manipulée peut guider une décision réelle. Les essais évoqués soulignent ainsi une difficulté majeure pour les outils qui associent modèles de langage et navigation sur le web : ils doivent distinguer les informations utiles à l’utilisateur des instructions malveillantes intégrées par des tiers.

Pourquoi la recherche web rend les assistants plus exposés

Un modèle de langage répond habituellement à partir d’une question formulée par son utilisateur et des connaissances dont il dispose. Lorsqu’il peut aussi consulter le web, il traite un matériau beaucoup plus vaste et mouvant : descriptions commerciales, avis, forums, documentations techniques, pages compromises ou contenus créés dans le seul but d’influencer son comportement.

Dans ce contexte, une page consultée n’est pas seulement une source d’information. Elle peut également contenir une instruction. C’est le principe de la prompt injection, ou injection de prompt : un acteur introduit dans un contenu destiné à être lu par l’IA une consigne visant à modifier la réponse finale. Cette consigne peut être dissimulée afin de ne pas attirer l’attention d’un lecteur humain, tout en restant accessible au système qui analyse la page.

Le problème est que l’assistant doit faire face à deux catégories de textes qui peuvent se ressembler techniquement :

• la demande légitime de l’utilisateur, par exemple « compare les avis sur ce produit » ;
• une consigne non fiable présente sur une page, qui tenterait de lui dicter la conclusion à donner.

Un outil robuste devrait considérer la seconde comme une donnée à analyser, non comme un ordre à exécuter. Or, les tests rapportés indiquent que cette séparation peut échouer.

Des pages fictives ont fait basculer une évaluation négative vers un avis positif

Pour évaluer cette vulnérabilité, les chercheurs ont construit des pages web fictives. Le scénario est particulièrement parlant : une page comportait des critiques négatives sur un produit, mais aussi des instructions cachées. Malgré les avis défavorables visibles, la manipulation a permis d’obtenir de ChatGPT une appréciation positive.

Autrement dit, l’outil n’a pas seulement mal résumé des informations contradictoires. Il a pu être orienté vers une conclusion flatteuse qui effaçait le poids des critiques présentes sur la même page. Pour un internaute qui demande une recommandation rapide, la différence est considérable : une réponse rédigée avec assurance peut sembler avoir évalué tous les éléments, alors qu’elle a été influencée par une consigne dissimulée.

Cette démonstration pose un défi spécifique aux réponses conversationnelles. Un moteur de recherche classique renvoie plusieurs résultats que l’utilisateur peut comparer. Un assistant conversationnel, lui, produit souvent une synthèse unique. Cette forme est pratique, mais elle concentre davantage la confiance sur une réponse dont le cheminement est difficile à contrôler.

Quand une réponse biaisée devient un risque de sécurité

Les conséquences ne se limitent pas à une mauvaise recommandation d’achat. Jacob Larsen, expert en cybersécurité cité à propos de ces tests, alerte sur le risque de sites créés expressément pour tromper les personnes utilisant la recherche de ChatGPT. Un site malveillant pourrait chercher à faire apparaître une information erronée comme une conclusion fiable, en misant sur la capacité de l’assistant à la reformuler.

Cette menace prend une dimension plus concrète encore lorsqu’il est question de programmation. Des essais ont montré que ChatGPT pouvait retourner du code malveillant en réponse à certaines requêtes. Dans un cas associé à un projet de blockchain, un utilisateur a perdu 2 500 dollars après avoir utilisé un code fourni par l’IA, alors que celui-ci semblait légitime.

Le risque ne signifie pas que chaque extrait de code généré par une IA est dangereux. Il rappelle en revanche une règle essentielle : du code qui paraît propre, cohérent et bien commenté peut tout de même contenir une instruction nuisible. Une erreur ou une manipulation peut, par exemple, conduire à exposer des données, à effectuer une opération non souhaitée ou à faire appel à un composant non fiable.

Pour les usages techniques, la prudence doit donc être proportionnée aux conséquences possibles. Il ne faut pas exécuter directement un script issu d’un assistant, ni copier une clé, un mot de passe, une phrase de récupération ou des données sensibles dans une conversation. Une relecture humaine compétente et des tests dans un environnement isolé restent nécessaires avant tout déploiement.

De l’empoisonnement SEO à la manipulation des réponses d’IA

Karlsten Nohl, scientifique en chef, compare cette situation à l’empoisonnement SEO. Cette expression désigne des pratiques par lesquelles des pirates modifient ou créent des pages afin d’obtenir une visibilité accrue dans les résultats de recherche et d’attirer les internautes vers des contenus dangereux.

La comparaison éclaire le changement en cours. Avec le référencement classique, l’objectif de l’attaquant est de faire remonter sa page dans les résultats. Avec un outil de recherche fondé sur l’IA, il peut aussi chercher à influencer directement la formulation de la réponse que lit l’utilisateur. Le contenu n’a pas besoin d’être particulièrement convaincant pour un humain si l’assistant lui accorde une importance indue lors de sa synthèse.

Les moteurs de recherche pénalisent généralement l’usage de texte caché à des fins de référencement. Mais cette sanction éventuelle ne supprime pas le problème : un site conçu pour tromper peut accepter ce risque, surtout s’il vise des visiteurs de passage ou cherche à exploiter une nouvelle méthode de recherche avant que les défenses ne soient renforcées.

Pourquoi une réponse assurée ne constitue pas une preuve

Les modèles de langage ont une caractéristique qui peut désorienter les utilisateurs : ils sont capables de présenter une réponse fluide et structurée même lorsque l’information est incomplète, erronée ou manipulée. Dans le cadre d’une recherche web, cette assurance apparente peut donner l’illusion que tous les éléments consultés ont été vérifiés et correctement hiérarchisés.

Il faut pourtant distinguer trois choses : la capacité de l’outil à trouver un contenu, sa capacité à le résumer, et la fiabilité réelle de ce contenu. Une IA peut réussir les deux premières tâches tout en relayant une information qui ne mérite pas confiance. Elle peut aussi privilégier un texte trompeur au détriment d’avis négatifs ou de documents plus solides.

OpenAI rappelle d’ailleurs que ChatGPT peut commettre des erreurs. L’entreprise indique que ces problèmes font l’objet de tests et de corrections, mais les recherches sur ce type de faille restent en cours. Pour les utilisateurs, la conséquence pratique est claire : une réponse de ChatGPT Search doit être traitée comme un point de départ, pas comme une validation définitive.

Quels réflexes adopter avec ChatGPT Search ?

La première protection est de conserver un regard critique sur les recommandations générées. Une réponse qui propose un produit, un service, une démarche administrative ou une solution technique mérite d’être confrontée à plusieurs sources indépendantes. Il est particulièrement utile de consulter les avis dans leur contexte, de rechercher les informations officielles et de vérifier si les éléments importants sont confirmés ailleurs.

Quelques précautions simples réduisent nettement l’exposition aux manipulations :

• demander à l’outil d’indiquer les éléments sur lesquels il fonde son analyse, puis les contrôler soi-même ;
• ne pas considérer une synthèse positive comme plus fiable que les avis originaux qu’elle résume ;
• vérifier les informations sensibles auprès d’acteurs compétents ou de documents officiels ;
• ne jamais exécuter sans examen du code récupéré ou généré par une IA ;
• éviter de transmettre des informations personnelles, des identifiants ou des données financières pour obtenir de l’aide.

Ces règles ne privent pas l’utilisateur de l’intérêt des assistants de recherche. Elles replacent l’outil dans son rôle le plus utile : accélérer l’exploration d’un sujet, préparer des pistes et aider à formuler des questions. La décision finale, surtout lorsqu’elle est risquée, exige toujours une vérification indépendante.

Ce qu’il faut surveiller pour la suite

À la fin de l’année 2024, la prompt injection apparaît comme l’un des enjeux centraux des assistants capables de consulter des contenus externes. Le défi ne concerne pas uniquement ChatGPT : tout système qui combine un modèle de langage et des données issues du web doit empêcher que ces données prennent le contrôle de ses réponses.

Les améliorations attendues portent autant sur les défenses techniques que sur la clarté offerte aux utilisateurs. Les outils devront mieux détecter les instructions suspectes, hiérarchiser les sources et signaler leurs limites. Mais aucune protection ne pourra garantir que chaque page du web est honnête ou que chaque synthèse est exacte.

La véritable évolution à surveiller sera donc celle de la confiance. À mesure que les réponses conversationnelles remplacent une partie des recherches classiques, les internautes devront apprendre à ne pas confondre une réponse immédiate avec une information établie. Les tests rapportés le rappellent avec force : dans un environnement où le contenu peut chercher à influencer l’IA, l’esprit critique reste la meilleure ligne de défense.