Scraping : Cloudflare déploie un labyrinthe pour freiner les robots d’IA

Le Web est devenu une matière première essentielle pour l’intelligence artificielle. Articles, fiches produits, forums, images, avis de consommateurs ou documentation technique peuvent être aspirés à grande échelle par des programmes automatisés. Cette pratique, appelée scraping, alimente aussi bien la veille concurrentielle que certains jeux de données utilisés pour entraîner ou enrichir des systèmes d’IA. Mais les sites concernés ne souhaitent pas toujours voir leurs contenus copiés, parfois des millions de fois.

C’est dans ce contexte que Cloudflare a dévoilé, en mars 2025, AI Labyrinth, un dispositif conçu pour contrarier les robots qui explorent un site sans respecter les consignes qui leur sont destinées. Le principe n’est pas de créer un piège pour une intelligence artificielle conversationnelle, au sens strict. Il s’agit de détourner les crawlers, ces logiciels qui parcourent automatiquement les pages web et suivent les liens qu’ils rencontrent.

L’idée est simple, mais révélatrice d’un changement de rapport de force : au lieu de refuser immédiatement l’accès à un robot suspect, le site peut l’orienter vers un ensemble de contenus générés par IA. Le robot y consomme du temps de calcul et de la bande passante, sans atteindre les pages réellement convoitées.

Le scraping, une collecte automatisée aux usages très différents

Le scraping consiste à extraire de manière automatisée des informations visibles sur un site web ou accessibles par son infrastructure. Un programme peut, par exemple, parcourir des catalogues pour relever des prix, recueillir des annonces immobilières, agréger des avis ou copier le texte de publications.

Cette technique ne doit pas être confondue avec une consultation ordinaire. Un internaute lit quelques pages à son rythme. Un crawler peut envoyer un très grand nombre de requêtes, fonctionner jour et nuit et suivre des liens de façon systématique. À l’échelle d’un site populaire, cette différence peut peser sur les ressources techniques et sur les coûts d’hébergement.

Tous les usages ne se valent pas. Une entreprise peut automatiser une veille sur des informations qu’elle est autorisée à consulter. À l’inverse, une collecte massive peut viser des contenus protégés, des bases de données constituées à grands frais ou des données à caractère personnel. L’enjeu est devenu particulièrement sensible avec l’essor de l’IA générative : les éditeurs cherchent à savoir qui accède à leurs textes, dans quel but et selon quelles règles.

Le fichier robots.txt est l’un des moyens historiques par lesquels un site indique aux robots quelles zones il accepte ou refuse de leur voir explorer. Il s’agit toutefois d’une convention technique, pas d’une barrière infranchissable. Un robot bienveillant peut la respecter, tandis qu’un acteur peu scrupuleux peut choisir de l’ignorer. Les propriétaires de sites se tournent donc vers des défenses plus actives.

AI Labyrinth, le principe du leurre plutôt que du blocage

Avec AI Labyrinth, Cloudflare propose une réponse inhabituelle à cette collecte non désirée. Lorsqu’un robot adopte un comportement problématique, notamment en ignorant les directives d’exploration, il peut être orienté vers une succession de pages générées par intelligence artificielle. Ces pages et leurs liens constituent un parcours qui n’apporte pas les informations recherchées sur le site d’origine.

L’objectif est double : protéger les contenus réels et rendre la collecte indésirable moins rentable. Un robot qui poursuit ce chemin artificiel mobilise ses propres ressources au lieu de récupérer les articles, produits ou bases de données qui l’intéressaient initialement. Le mot « labyrinthe » décrit donc une stratégie de diversion, et non un mécanisme magique capable de neutraliser définitivement tout logiciel automatisé.

Cloudflare a conçu ce type de contenu pour qu’il ne gêne pas la navigation habituelle des visiteurs humains. Le système cherche à distinguer le trafic automatique de la consultation légitime, tâche qui reste difficile dans un Internet où les moteurs de recherche, les outils d’accessibilité, les services de monitoring et les assistants numériques utilisent tous des méthodes d’accès automatisé.

Le choix de ne pas bloquer immédiatement est important. Un refus d’accès informe clairement le robot qu’une protection a été activée. Le détourner vers des pages sans intérêt peut, dans certains cas, compliquer son travail sans offrir ce signal explicite. Cette logique s’inscrit dans une approche plus large de la cybersécurité : identifier les comportements anormaux, ralentir l’automatisation abusive et préserver les ressources du service protégé.

Quelles protections les sites utilisent-ils contre les robots ?

AI Labyrinth ne remplace pas toutes les protections existantes. Il vient s’ajouter à une palette de moyens employés par les sites, selon leur audience, leur niveau de risque et la nature de leurs données. Un site de presse, une boutique en ligne et une administration n’ont pas les mêmes impératifs.

Les mécanismes les plus courants reposent sur plusieurs principes :

• la limitation du nombre de requêtes, pour empêcher un même client de solliciter le site à une cadence excessive ;
• la détection de comportements automatisés, à partir de signaux techniques et du rythme de navigation ;
• les défis de vérification, tels que certaines vérifications JavaScript ou CAPTCHA, destinés à différencier une personne d’un script ;
• l’authentification et les API, qui permettent de donner un accès documenté, limité et contrôlé à des partenaires ou à des développeurs ;
• le pare-feu applicatif, qui filtre des requêtes considérées comme risquées ou anormales.

Aucune de ces méthodes n’est parfaite. Une protection trop stricte peut gêner un utilisateur réel, un moteur de recherche légitime ou un outil professionnel autorisé. Une protection trop souple peut laisser passer un volume important de requêtes automatisées. C’est pourquoi les fournisseurs d’infrastructure tentent de combiner plusieurs signaux plutôt que de s’appuyer sur un seul critère.

Pourquoi ce bras de fer concerne directement l’IA générative

Les entreprises qui développent des modèles d’IA ont besoin de grandes quantités de données pour l’entraînement, l’évaluation ou la mise à jour de leurs services. Elles peuvent aussi utiliser des robots pour alimenter des fonctions de recherche en ligne ou de génération augmentée par récupération de documents, souvent appelée RAG. Dans ce dernier cas, un système va chercher des informations dans des sources identifiées avant de formuler une réponse.

Les protections anti-scraping accroissent cependant l’incertitude pour les acteurs qui reposent sur une exploration large et automatisée du Web. Elles peuvent augmenter le temps nécessaire à la collecte, le coût des infrastructures et le risque de récupérer des données incomplètes. Elles favorisent aussi des voies plus encadrées : données sous licence, partenariats avec des éditeurs, jeux de données ouverts, interfaces de programmation et accès explicitement autorisés.

Pour les producteurs de contenus, le débat ne porte pas uniquement sur la charge informatique. Un article, une photographie ou une base documentaire représentent du travail, un investissement et parfois un actif économique. Si ces contenus contribuent à un produit d’IA commercial, les éditeurs veulent pouvoir décider de leur utilisation ou négocier une rémunération.

Le scraping est-il légal ? Une réponse qui dépend du contexte

Le scraping n’est pas illégal par nature. Sa légalité dépend du pays concerné, du type de données collectées, de la manière dont l’accès est obtenu et de l’usage ultérieur des informations. Copier des éléments librement accessibles ne donne pas automatiquement le droit de les réutiliser, de les republier ou de les exploiter commercialement à grande échelle.

Plusieurs sujets peuvent entrer en jeu :

• les conditions d’utilisation du site, qui peuvent encadrer les accès automatisés ;
• le droit d’auteur sur les textes, images et autres œuvres ;
• le droit applicable aux bases de données, lorsque leur constitution a exigé un investissement substantiel ;
• la protection des données personnelles, si la collecte porte sur des personnes identifiables ;
• les mesures techniques mises en place pour restreindre un accès et les conséquences d’un éventuel contournement.

Dans l’Union européenne, la directive sur le droit d’auteur dans le marché unique numérique prévoit notamment une exception pour la fouille de textes et de données. Pour certains usages, les titulaires de droits peuvent toutefois réserver leurs contenus, notamment par des moyens lisibles par machine. Cette règle ne constitue pas un permis général de collecter tout ce qui est visible sur Internet : d’autres droits et obligations continuent de s’appliquer.

Cette complexité explique les appels récurrents à un cadre plus clair. Les entreprises d’IA souhaitent accéder à des sources riches et fiables. Les éditeurs, eux, demandent des outils simples pour exprimer un refus, obtenir de la transparence et protéger la valeur de leurs contenus. Entre les deux, les fournisseurs comme Cloudflare deviennent des intermédiaires techniques déterminants.

Le labyrinthe peut-il arrêter tous les robots ?

Non. AI Labyrinth n’élimine pas le problème du scraping et ne peut pas garantir qu’aucun robot n’accédera à un site. Son intérêt réside dans le rapport entre le coût de la collecte et la valeur des données récupérées. Plus une exploration non autorisée devient lente, confuse ou coûteuse, moins elle est attractive pour son opérateur.

La limite principale reste l’identification fiable du trafic. Les robots automatisés évoluent, tout comme les moyens de les détecter. Un système de défense doit également éviter de pénaliser les services autorisés, par exemple les robots des moteurs de recherche ou les partenaires qui utilisent une API prévue à cet effet. La précision du paramétrage compte donc autant que la sophistication de la protection.

Les contenus générés dans un tel labyrinthe posent aussi une exigence de qualité opérationnelle : ils ne doivent ni polluer l’expérience des visiteurs ni être confondus avec les contenus éditoriaux du site. La défense technique ne peut être durable que si elle demeure compatible avec une navigation web utile et accessible.

Ce qu’il faut surveiller

Au 28 mars 2025, AI Labyrinth illustre surtout une nouvelle étape dans la bataille entre robots collecteurs et infrastructures web. L’essor rapide de l’IA générative transforme une pratique ancienne, le scraping, en enjeu stratégique pour les éditeurs, les plateformes et les entreprises technologiques.

Trois évolutions seront particulièrement importantes. La première concerne l’adoption de protections capables de distinguer correctement les robots malveillants des accès légitimes. La deuxième porte sur la généralisation d’accords de licence et de canaux d’accès officiels aux données. La troisième est juridique : les règles relatives à la fouille de textes et de données, aux contenus protégés et aux données personnelles devront être interprétées de manière plus prévisible.

Le labyrinthe imaginé par Cloudflare ne clôt pas le débat. Il rend visible une réalité souvent ignorée : derrière chaque réponse produite par une IA, derrière chaque index et chaque outil de comparaison, il existe une question concrète sur l’origine des données, les conditions de leur accès et la personne qui en supporte le coût.