Régulation et éthique

Cloudflare accuse Perplexity de contourner les règles d’accès aux sites web

Cloudflare affirme avoir observé Perplexity accéder à des pages pourtant bloquées, en changeant d’identité technique. La startup répond qu’il s’agit d’assistants déclenchés par les utilisateurs, et non de robots d’indexation. L’affaire ravive le débat sur l’accès des IA aux contenus du web.

Analyste examinant des requêtes automatisées bloquées entre un assistant IA et des sites web protégés
Illustration : Actu.ai

Les assistants de recherche fondés sur l’intelligence artificielle promettent de trouver et synthétiser l’information en quelques secondes. Mais cette commodité repose sur une question décisive pour le web : qui a le droit d’accéder aux pages publiées en ligne, et à quelles conditions ? Début août 2025, Cloudflare, entreprise américaine spécialisée dans la sécurité et l’infrastructure internet, a publiquement mis en cause Perplexity sur ce terrain.

Cloudflare accuse la startup, connue pour son moteur de réponse assisté par IA, d’avoir eu recours à du crawling furtif, ou stealth crawling. L’expression désigne ici un comportement allégué d’exploration de pages qui contournerait les instructions des éditeurs et certaines protections techniques. Perplexity rejette cette lecture : l’entreprise fait valoir que ses outils sont des assistants sollicités par un utilisateur, et non des robots d’indexation traditionnels.

Au 6 août 2025, il ne s’agit pas d’une décision de justice. Il s’agit d’accusations techniques sérieuses, documentées par Cloudflare, auxquelles Perplexity oppose une conception différente de son fonctionnement. Elles illustrent un conflit plus large entre les services d’IA qui veulent répondre à des requêtes à partir du web et les propriétaires de sites qui souhaitent maîtriser l’usage de leurs contenus.

Ce que Cloudflare reproche précisément à Perplexity

Cloudflare explique avoir reçu des signalements de clients estimant que des robots liés à Perplexity consultaient leurs sites alors que ces accès avaient été refusés. L’entreprise a alors conduit ses propres vérifications.

Selon Cloudflare, les robots de Perplexity n’auraient pas seulement ignoré les préférences exprimées dans des fichiers robots.txt. Ils auraient aussi cherché à passer outre des blocages mis en place au niveau de pare-feu. Dans ses observations, Cloudflare évoque des changements d’identité technique, notamment au niveau de l’agent utilisateur déclaré par le logiciel et du réseau depuis lequel les requêtes étaient effectuées.

Élément examinéCe que Cloudflare dit avoir constatéPourquoi c’est important
Directives robots.txtDes pages avaient été déclarées inaccessibles aux robots concernésCes directives permettent à un éditeur d’exprimer ses règles de collecte automatisée
Pare-feu applicatifDes accès étaient bloqués par des règles techniquesUn pare-feu constitue une mesure active de contrôle des visites sur un site
Pages de testPerplexity aurait fourni des informations issues de pages nouvelles et bloquéesLe test vise à vérifier si les contenus ont été atteints malgré les restrictions
Identité du robotL’agent utilisateur et l’origine réseau auraient varié après des blocagesChanger d’identité peut compliquer l’identification et le filtrage d’un automatisme

Le mot « illégal », employé dans le débat public autour de cette affaire, demande toutefois de la prudence. Cloudflare décrit des comportements qu’elle juge non autorisés et contraires aux volontés des éditeurs. La qualification juridique exacte dépendrait, elle, des règles applicables dans chaque pays, des conditions d’utilisation du site concerné, de la nature des protections franchies et de l’éventuelle intervention d’un juge.

Des pages de test pour vérifier les accès

La méthode décrite par Cloudflare repose sur un principe simple : placer du contenu à un endroit qui ne devrait pas être découvert ou consulté par le robot visé, puis vérifier si ce contenu réapparaît dans les réponses fournies par l’assistant IA.

L’entreprise indique avoir créé des pages web nouvelles, inconnues des robots de Perplexity, puis avoir bloqué leur exploration. Malgré cela, Perplexity aurait été capable de fournir des informations issues de ces pages. Pour Cloudflare, ce résultat suggère que les restrictions n’ont pas été respectées.

Ce type de test est particulièrement parlant parce qu’il cherche à limiter les explications alternatives. Si une page est nouvelle, peu visible et protégée, elle est moins susceptible d’avoir été récupérée auparavant par un moteur de recherche ou reproduite sur un autre site. Cela ne transforme pas pour autant l’observation en verdict judiciaire : le test établit ce que Cloudflare affirme avoir vu dans son environnement, pas une conclusion de droit sur l’ensemble des pratiques de Perplexity.

L’enjeu est aussi de distinguer deux questions souvent confondues. La première est technique : un système a-t-il atteint une page malgré un blocage ? La seconde est juridique : cet accès, dans son contexte précis, constitue-t-il une violation d’une règle de droit, d’un contrat ou d’un droit de propriété intellectuelle ? La réponse à la première ne règle pas automatiquement la seconde.

Que signifie le crawling furtif ?

Le crawling, ou exploration automatisée, est une pratique très ancienne du web. Les moteurs de recherche emploient des robots pour visiter des pages, suivre des liens et alimenter leurs index. Sans ces robots, il serait bien plus difficile de retrouver un article, une boutique ou une information précise via un moteur de recherche.

Le problème apparaît lorsqu’un robot ne respecte pas les limites définies par le propriétaire d’un site. Cloudflare parle de crawling furtif parce que, selon elle, Perplexity aurait masqué ou modifié son identité après avoir été bloquée.

Deux notions techniques sont au cœur de l’accusation :

  • L’agent utilisateur, souvent appelé user agent, est l’identifiant qu’un navigateur ou un robot transmet au serveur visité. Il peut indiquer quel logiciel effectue la requête.
  • Le numéro de système autonome, ou ASN, désigne un identifiant utilisé pour repérer les réseaux qui transportent le trafic sur internet. Il aide notamment les opérateurs de sites à comprendre d’où viennent les connexions et à appliquer des règles de filtrage.

Cloudflare soutient que le trafic attribué à Perplexity aurait changé d’agent utilisateur et d’origine réseau après le blocage de robots clairement identifiés. Utiliser un agent utilisateur générique peut rendre un outil automatisé plus difficile à distinguer d’un navigateur classique. Changer de réseau peut aussi déjouer une règle qui bloque une plage d’adresses connue.

C’est pourquoi l’accusation de Cloudflare ne porte pas uniquement sur robots.txt. Elle insiste aussi sur le franchissement allégué de règles de pare-feu, qui expriment un refus technique plus explicite d’accès à certains visiteurs.

Perplexity : un assistant à la demande, pas un robot d’indexation ?

Perplexity conteste le raisonnement de Cloudflare en mettant en avant la nature de son produit. Selon la startup, ses outils ne doivent pas être assimilés à des crawlers traditionnels qui parcourent le web de façon autonome afin de bâtir un index de pages.

Son argument est le suivant : un assistant IA agit lorsqu’un utilisateur lui pose une question. Il récupère alors des informations pertinentes pour formuler une réponse, au lieu d’explorer préventivement et continuellement le web pour constituer une immense base de données de recherche.

Perplexity affirme également ne pas stocker les données ainsi récupérées et ne pas les employer pour entraîner ses modèles. Cette distinction est centrale dans sa défense : l’entreprise cherche à séparer la consultation ponctuelle d’une page au nom d’un utilisateur de la collecte massive destinée à l’indexation ou à l’entraînement d’une IA.

Cette différence de présentation ne fait pas disparaître le désaccord. Pour un éditeur, le point déterminant peut être moins le nom donné au logiciel que son comportement réel : quelle page est sollicitée, par quelle machine, avec quelle identité, à quelle fréquence, et les restrictions techniques ont-elles été respectées ?

Robots d’indexation et assistants IA : deux logiques opposées

Crawling traditionnel et assistant IA : la distinction avancée dans le débat

Robot d’indexation classique

  • Explore des pages de manière automatisée et répétée.
  • Constitue généralement un index destiné à la recherche.
  • Peut visiter un site sans requête individuelle préalable.
  • Doit pouvoir être identifié et respecter les directives du site.

Assistant IA, selon Perplexity

  • Intervient en réponse à une question formulée par un utilisateur.
  • Récupère des informations au moment de la demande.
  • Perplexity affirme ne pas conserver les données récupérées.
  • Perplexity affirme ne pas utiliser ces données pour entraîner ses modèles.
  • La qualification technique et juridique de ce fonctionnement reste contestée.

Ignorer robots.txt est-il forcément illégal ?

Non. Le fichier robots.txt est une norme technique largement utilisée, pas une loi qui s’applique automatiquement dans tous les pays et toutes les situations. Son non-respect peut toutefois avoir des conséquences, particulièrement lorsqu’il s’ajoute à d’autres éléments.

Un litige potentiel pourrait porter sur plusieurs terrains, selon les circonstances : les conditions générales du site, le droit d’auteur, les droits liés aux bases de données, la concurrence déloyale, la protection des données personnelles ou encore les règles encadrant l’accès à un système informatique. Une mesure technique de blocage, telle qu’un pare-feu, peut avoir un poids important dans l’appréciation des faits, car elle manifeste clairement la volonté de refuser certains accès.

Il faut donc éviter deux raccourcis. Le premier serait d’affirmer que toute visite automatisée est interdite : le fonctionnement ordinaire du web dépend de nombreux robots légitimes, qu’il s’agisse des moteurs de recherche, des outils d’archivage ou de surveillance de disponibilité. Le second serait de considérer qu’un contenu accessible depuis un navigateur peut être aspiré sans limite par n’importe quel service automatisé.

Dans ce dossier, Cloudflare soutient précisément que les accès observés se seraient produits malgré des refus explicites. Perplexity répond en invoquant la demande d’un utilisateur et l’absence de stockage ou d’entraînement. Ces deux arguments pourraient être examinés très différemment selon le cadre légal retenu et les faits établis.

Pourquoi les éditeurs et les entreprises de sécurité s’inquiètent

Pour les éditeurs de presse, les créateurs et les gestionnaires de sites, le développement des réponses générées par IA modifie la circulation de l’information. Un moteur de recherche classique renvoie généralement une liste de liens, susceptible d’amener des visiteurs vers le site d’origine. Un assistant conversationnel peut, lui, résumer directement une réponse. Selon la qualité de l’attribution, des citations et des liens proposés, le site source peut recevoir plus ou moins de trafic.

La question ne se résume donc pas à la seule sécurité informatique. Elle concerne aussi la rémunération des contenus, l’audience, la maîtrise de la marque et la capacité des éditeurs à choisir les conditions de réutilisation de leur travail.

Cloudflare occupe une position particulière dans ce débat. Ses services protègent et accélèrent une partie considérable du web. L’entreprise dispose ainsi d’une visibilité technique sur les requêtes reçues par les sites utilisant son infrastructure et sur les moyens déployés pour filtrer certains robots. Son accusation contre Perplexity dépasse donc le différend entre deux entreprises : elle donne une visibilité concrète à une inquiétude partagée par de nombreux propriétaires de sites.

L’affaire s’inscrit dans un contexte déjà tendu entre les entreprises d’IA et les détenteurs de contenus. Plusieurs différends opposent des plateformes, des éditeurs ou des réseaux sociaux à des acteurs de l’IA autour de la collecte et de l’exploitation de données publiques. Le litige entre Reddit et Anthropic participe lui aussi à cette remise en question des pratiques de récupération massive de contenus.

Comment les sites peuvent-ils exprimer leurs restrictions ?

Les propriétaires de sites disposent de plusieurs niveaux de protection, qui ne répondent pas tous au même besoin. Le fichier robots.txt est utile pour communiquer des consignes aux robots qui choisissent de les respecter. Il est simple à publier et reconnu par de nombreux acteurs, mais il n’empêche pas techniquement une requête.

Les pare-feu applicatifs, les contrôles de fréquence, le filtrage d’adresses réseau et la vérification des agents utilisateurs offrent des protections plus actives. Ils peuvent limiter ou bloquer les comportements automatisés jugés indésirables. Ils demandent néanmoins une surveillance régulière : un robot peut changer d’adresse, se présenter différemment ou emprunter une infrastructure partagée avec des visiteurs légitimes.

Enfin, des règles contractuelles claires dans les conditions d’utilisation peuvent aider les éditeurs à formaliser ce qu’ils autorisent ou refusent. Aucune mesure isolée n’apporte une garantie absolue. C’est l’association d’instructions publiques, de protections techniques et d’une observation des journaux de trafic qui permet de mieux contrôler les accès.

Ce qu’il faut surveiller

L’accusation de Cloudflare pose une question appelée à devenir centrale : un assistant IA qui consulte une page pour répondre à un utilisateur doit-il suivre les mêmes règles qu’un robot d’indexation ? Les entreprises d’IA soutiennent volontiers que leurs outils offrent une navigation plus ciblée et plus utile. Les éditeurs demandent, de leur côté, de pouvoir dire clairement non et d’être entendus lorsque ce refus est exprimé.

La transparence sera déterminante. Les sites ont besoin d’identifier sans ambiguïté les robots qui les consultent, de comprendre à quel service ils sont rattachés et de disposer de moyens fiables pour accepter ou refuser leur accès. Les services d’IA, eux, devront démontrer que leur accès au web respecte réellement les choix des producteurs de contenus.

Au-delà du cas Perplexity, le débat pourrait encourager l’émergence de règles plus précises : identifiants techniques vérifiables, mécanismes de refus standardisés, licences de contenus et obligations de transparence sur la collecte. À court terme, cette affaire rappelle surtout qu’une réponse IA n’est jamais totalement abstraite : elle dépend de pages, d’infrastructures et de règles de circulation que le web doit continuer à pouvoir faire respecter.

Questions fréquentes

Qu’accuse exactement Cloudflare à propos de Perplexity ?

Cloudflare affirme que Perplexity a accédé à des contenus de sites malgré des directives robots.txt et des règles de pare-feu destinées à bloquer ses robots. L’entreprise de cybersécurité allègue aussi des changements d’agent utilisateur et d’origine réseau, qui auraient rendu le trafic plus difficile à identifier et à filtrer.

Qu’est-ce que le stealth crawling ou crawling furtif ?

Le crawling furtif désigne l’exploration automatisée de pages en dissimulant ou en modifiant l’identité technique du robot. Dans cette affaire, Cloudflare emploie ce terme pour décrire un trafic qui aurait changé d’agent utilisateur et de réseau après des blocages, afin d’accéder malgré tout à des contenus refusés.

Perplexity utilise-t-elle les pages consultées pour entraîner son IA ?

Perplexity affirme que non. La startup soutient que ses assistants récupèrent des informations à la demande d’un utilisateur, sans stocker les données obtenues ni les employer pour entraîner ses modèles. Cette affirmation constitue un élément central de sa réponse aux accusations de Cloudflare, mais ne règle pas à elle seule le débat sur les modalités d’accès aux sites.

Le non-respect d’un fichier robots.txt est-il illégal ?

Pas automatiquement. Robots.txt est un protocole qui exprime les préférences d’un site à l’égard des robots, et non une interdiction légale universelle. La situation peut toutefois devenir plus risquée si elle implique le contournement de protections techniques, des violations de conditions d’utilisation, du droit d’auteur ou d’autres règles applicables selon le pays.

Comment un site peut-il limiter l’accès des robots d’IA ?

Un site peut combiner plusieurs mesures : directives robots.txt, règles de pare-feu, filtrage du trafic automatisé, limitation de la fréquence des requêtes et conditions d’utilisation explicites. Aucune solution n’est parfaite isolément. Le suivi régulier des journaux de connexion reste important pour repérer des robots qui changent d’identité ou d’infrastructure.

Sources

Références consultées pour la rédaction de cet article. Les adresses sont indiquées à titre informatif et ne sont pas des liens.

  1. Cloudflare, analyse des accusations de crawling furtif visant Perplexity, août 2025blog.cloudflare.com
  2. RFC 9309, Robots Exclusion Protocolwww.rfc-editor.org/rfc/rfc9309
  3. Perplexity, site officielwww.perplexity.ai