Cloudflare bloque par défaut les robots d’IA et rebâtit l’accès aux contenus

Le web a longtemps reposé sur une règle implicite : une page publique pouvait être parcourue automatiquement, indexée et, dans une certaine mesure, réutilisée. Avec l’essor de l’intelligence artificielle générative, cette règle est devenue un point de friction majeur. Les éditeurs voient leurs articles lus par des robots qui alimentent des modèles ou des assistants, sans que cette consultation ne se traduise nécessairement par une visite, une recette publicitaire ou une licence.

Le 1er juillet 2025, Cloudflare, l’un des acteurs centraux de l’infrastructure du web, change nettement de position. L’entreprise annonce le blocage par défaut des robots d’IA sur les nouveaux sites rejoignant son réseau. Le propriétaire d’un site doit désormais choisir explicitement les robots auxquels il veut donner accès. GPTBot d’OpenAI et ClaudeBot d’Anthropic figurent parmi les agents concernés.

Cette décision est technique, mais ses conséquences sont économiques et culturelles. Cloudflare ne décide pas à lui seul de ce qui est légal au regard du droit d’auteur. En revanche, en contrôlant une porte d’entrée utilisée par une part substantielle du web, il donne aux producteurs de contenus un moyen concret de dire oui, non, ou oui à certaines conditions.

Ce que Cloudflare change concrètement

Cloudflare est notamment un réseau de diffusion de contenu et de sécurité : il se place entre un site et ses visiteurs afin d’accélérer l’affichage des pages et de filtrer des requêtes malveillantes ou indésirables. Cette position lui permet aussi d’identifier et de bloquer certains robots avant qu’ils n’atteignent le serveur d’origine d’un site.

La nouvelle politique inverse le principe d’autorisation pour les robots d’IA. Au lieu de supposer qu’un robot peut parcourir un nouveau site tant qu’il n’en est pas explicitement empêché, Cloudflare demande au propriétaire du domaine s’il souhaite l’autoriser. Ce consentement peut être donné robot par robot.

Selon les données mises en avant par l’entreprise, son infrastructure protège plus de deux millions d’utilisateurs et couvre environ 20 % du web. À cette échelle, une modification du réglage par défaut ne relève donc pas d’un simple choix de produit. Elle peut modifier les conditions dans lesquelles les entreprises d’IA collectent les textes, images et données publiques dont elles ont besoin.

Il faut toutefois bien distinguer le périmètre de l’annonce. Le blocage n’efface pas les contenus du web, ne vise pas les internautes ordinaires et n’empêche pas un robot d’essayer d’accéder à un site qui n’utilise pas Cloudflare. Il ne garantit pas non plus qu’aucun acteur ne puisse contourner les règles. Il apporte aux éditeurs clients de Cloudflare un contrôle supplémentaire, directement dans l’infrastructure qui sert leurs pages.

Pourquoi les robots d’IA inquiètent-ils les éditeurs ?

Un robot d’exploration, ou crawler, visite automatiquement des pages, suit des liens et en récupère le contenu. Les moteurs de recherche utilisent ce procédé depuis longtemps pour construire leurs index. Les entreprises d’IA y ont recours pour alimenter des jeux de données, enrichir leurs produits ou fournir des réponses actualisées dans des assistants conversationnels.

Le problème soulevé par les éditeurs n’est pas l’automatisation en elle-même. C’est l’ampleur des requêtes, l’opacité de certains usages et la faiblesse de la contrepartie. Lorsqu’un moteur de recherche affiche un lien vers un article, il peut apporter au média une visite susceptible de générer des abonnements ou des revenus publicitaires. Lorsqu’un assistant reformule directement l’information dans sa réponse, l’internaute peut ne jamais cliquer jusqu’à la source.

Les propriétaires de sites ont aussi signalé une hausse importante des requêtes automatisées indésirables. Un volume élevé de passages de robots peut alourdir l’infrastructure, ralentir le service et augmenter les coûts techniques. Pour de petits éditeurs, des médias locaux ou des créateurs indépendants, cette charge n’est pas anodine.

Plusieurs organisations de presse et entreprises de contenu, dont The Associated Press, Condé Nast et ZDNET, ont exprimé leurs préoccupations face à des réutilisations qu’elles jugent insuffisamment encadrées. Le vocabulaire de « pillage » numérique reflète une inquiétude simple : financer la production d’une information ou d’une œuvre, puis voir sa valeur captée ailleurs sans accord ni rémunération.

Robots.txt ne suffit pas toujours à protéger une page

La première ligne de défense historique du web porte le nom de robots.txt. Il s’agit d’un petit fichier placé à la racine d’un site, dans lequel son propriétaire indique les zones qu’il souhaite soustraire à certains robots. Le mécanisme est utile, largement connu et standardisé. Mais il fonctionne principalement comme une consigne : un robot responsable est censé la respecter, un robot malveillant peut l’ignorer.

Pour les éditeurs, cela pose deux difficultés. D’une part, il faut pouvoir identifier correctement le robot qui frappe à la porte. D’autre part, une interdiction déclarée dans robots.txt n’est pas une barrière technique capable d’arrêter automatiquement toute requête. Cloudflare veut compléter cette logique déclarative par un filtrage au niveau de son réseau.

L’entreprise explique également s’appuyer sur l’analyse des comportements et sur des techniques d’apprentissage automatique pour repérer des robots qui chercheraient à éviter les contrôles, parfois désignés comme des « shadow scrapers ». Il s’agit d’agents qui ne se présentent pas clairement comme des robots d’IA connus ou qui tentent d’imiter le trafic d’un visiteur classique.

Pay Per Crawl, vers un péage pour les contenus ?

Cloudflare accompagne son changement de réglage par le lancement de Pay Per Crawl. Le principe est d’offrir aux éditeurs la possibilité de fixer un tarif pour l’accès de leurs contenus par les entreprises d’IA. L’idée n’est donc pas seulement de fermer la porte, mais de créer une option intermédiaire : autoriser un usage identifié, à un prix défini.

Matthew Prince, directeur général de Cloudflare, présente cette orientation comme un moyen de « donner aux éditeurs le contrôle qu’ils méritent ». La formule résume l’ambition de l’entreprise : faire de l’accès automatisé aux contenus une relation contractuelle plutôt qu’une extraction silencieuse.

Ce modèle pourrait répondre à des situations très différentes. Un média pourrait accepter le passage d’un moteur de recherche pour maintenir sa visibilité, mais refuser qu’un robot de collecte d’IA accède gratuitement à l’intégralité de ses archives. Un autre pourrait choisir de monétiser certaines rubriques, ou de réserver l’accès à des partenaires avec lesquels il a signé une licence.

La question du prix reste entière. Un tarif trop élevé peut dissuader les acheteurs et réduire la diffusion des contenus. Un tarif trop bas peut ne pas compenser leur coût de production. Surtout, la valeur d’une requête n’est pas identique selon qu’elle sert à vérifier une information ponctuelle, à générer une réponse pour un utilisateur ou à enrichir durablement un vaste jeu de données d’entraînement.

Le trafic des médias, un enjeu plus vaste que le seul scraping

L’offensive de Cloudflare intervient dans un contexte tendu pour l’économie des sites d’information. Entre avril 2022 et avril 2025, Business Insider a enregistré une baisse de 55 % de son trafic, selon les chiffres cités dans le débat. Cette évolution ne peut pas être attribuée mécaniquement aux seuls robots d’IA : les changements d’algorithmes des plateformes, les habitudes de lecture, les réseaux sociaux, le référencement et les choix éditoriaux jouent aussi un rôle.

Elle illustre néanmoins une crainte très concrète. Si les internautes trouvent de plus en plus une réponse synthétique sans quitter un moteur ou un assistant, les éditeurs risquent de perdre le trafic qui finance leur travail. Nicholas Thompson, de The Atlantic, alerte ainsi sur la possibilité d’un recul drastique des visites en provenance de Google.

Le débat dépasse donc l’entraînement des grands modèles de langage. Il concerne la circulation de l’information sur le web. Les assistants d’IA ont besoin de contenus fiables pour répondre utilement. Mais les journalistes, photographes, chercheurs, auteurs et sites spécialisés ont besoin de ressources pour continuer à produire ces contenus. Sans mécanisme crédible de visibilité, de licence ou de rémunération, l’écosystème peut s’appauvrir à la source même des réponses générées par les machines.

Droit d’auteur : des décisions qui ne closent pas le débat

L’annonce arrive aussi après des décisions judiciaires américaines récentes ayant apporté des éléments favorables à Meta et Anthropic sur l’utilisation d’œuvres protégées dans les dossiers examinés, au titre de l’utilisation équitable, ou fair use. Ces décisions ne constituent pas un permis général d’utiliser sans limite toutes les œuvres disponibles en ligne.

Le droit d’auteur dépend en effet de circonstances précises : la manière dont les copies ont été obtenues, l’usage qui en est fait, la transformation éventuelle de l’œuvre, l’impact sur son marché et le droit applicable. Les litiges engagés par des auteurs, artistes, éditeurs et médias restent nombreux, et les réponses juridiques varient selon les pays.

C’est précisément là que la démarche de Cloudflare prend une autre dimension. Elle ne prétend pas résoudre par la technique la question de savoir si l’entraînement d’une IA est licite. Elle permet aux détenteurs de sites de fixer des conditions d’accès avant la collecte. Autrement dit, le contrôle technique peut devenir un levier de négociation là où le droit demeure discuté et où les procédures sont longues.

Ce qu’il faut surveiller après cette décision

La première question sera celle de l’adoption. Si de grands éditeurs, des plateformes de création et des sites spécialisés activent largement le blocage, les entreprises d’IA devront accroître leurs accords de licence ou adapter leurs méthodes de collecte. Si d’autres réseaux de diffusion de contenu, comme Akamai, suivent une voie comparable, la pression sera plus forte encore.

Il faudra aussi observer la capacité des robots à s’identifier clairement et le niveau d’efficacité du filtrage face aux acteurs qui tentent de se dissimuler. Un système utile aux éditeurs ne doit pas bloquer par erreur des services légitimes, ni laisser passer trop facilement les agents qui refusent les règles.

Enfin, le succès de Pay Per Crawl dépendra d’un compromis difficile : permettre une rémunération compréhensible et praticable, sans réserver l’accès aux contenus aux seules entreprises les plus riches. Le web s’est construit sur l’ouverture et la possibilité de créer des liens. La décision de Cloudflare ne ferme pas ce web, mais elle affirme qu’à l’ère de l’IA, l’ouverture ne peut plus signifier l’absence de choix pour celles et ceux qui produisent l’information.