Bots et IA : quand l’aspiration du Web met les sites sous pression

Un visiteur humain lit une page, clique sur un lien, puis revient plus tard. Un robot, lui, peut demander des milliers de pages ou de fichiers à un rythme continu. Cette différence, longtemps familière aux administrateurs de sites, prend une dimension nouvelle avec la course aux données nécessaires au développement de l’intelligence artificielle. À la fin septembre 2025, plusieurs organisations qui mettent des contenus à disposition du public alertent sur une pression très concrète : leurs serveurs et leurs réseaux doivent répondre à des requêtes massives qui ne génèrent pas forcément de revenus.

Le débat ne porte pas sur l’existence même des bots. Le Web repose depuis longtemps sur des programmes automatisés, notamment ceux des moteurs de recherche, qui indexent les pages afin de les rendre trouvables. La difficulté apparaît lorsque la collecte devient très intensive, qu’elle cible des fonds documentaires entiers ou qu’elle sert des usages commerciaux sans contrepartie pour le site qui paie l’hébergement, la bande passante et la maintenance.

Qu’est-ce que l’aspiration du Web par les bots ?

Un bot est un programme qui exécute automatiquement des tâches sur Internet. Dans le cas de l’aspiration du Web, aussi appelée web scraping, il ouvre des pages, télécharge leur contenu et peut en extraire du texte, des images, des métadonnées ou des liens. Ces données peuvent ensuite être indexées, analysées ou regroupées dans de vastes bases.

Pour les systèmes d’intelligence artificielle, ces collectes peuvent contribuer à réunir les corpus nécessaires à l’entraînement ou à l’évaluation de modèles. Il faut toutefois distinguer les usages : tous les bots ne sont pas liés à l’IA, et tous les systèmes d’IA ne reposent pas sur l’aspiration ouverte du Web. Un site peut aussi être parcouru par un moteur de recherche, un service de surveillance, un outil d’archivage ou un acteur malveillant.

Le point commun est la consommation de ressources. Chaque requête doit être reçue, traitée et renvoyée par l’infrastructure du site. Lorsqu’un robot demande de très nombreux contenus, surtout des fichiers volumineux, la facture peut augmenter et les internautes peuvent ressentir des lenteurs.

Pourquoi cette activité pèse-t-elle sur les sites ?

La bande passante désigne la capacité à faire circuler des données entre les serveurs d’un site et les internautes ou programmes qui les consultent. Elle n’est pas infinie ni gratuite. À mesure que le nombre de requêtes augmente, un éditeur peut devoir renforcer son hébergement, sa protection contre les attaques, ses outils d’observation du trafic ou sa capacité de diffusion des fichiers.

La charge ne se limite pas à la connexion Internet. Les serveurs doivent aussi identifier la demande, retrouver le document, parfois générer une page à la volée, puis enregistrer des informations permettant de surveiller l’activité. Une exploration automatisée peut ainsi mobiliser des ressources normalement destinées aux lecteurs, aux chercheurs ou aux clients.

Pour une institution culturelle, le sujet est particulièrement sensible. La Bibliothèque nationale de France, désignée par son sigle BnF, donne accès à des ressources numériques au bénéfice d’usagers très divers. Selon Isabelle Nyffenegger, directrice générale adjointe de la BnF, l’augmentation du trafic lié à ces pratiques impose davantage d’investissements pour maintenir le niveau de service. Derrière une consultation en apparence gratuite, il y a donc une infrastructure à financer durablement.

Ces exemples rappellent que le problème ne concerne pas uniquement les grands groupes technologiques. Des associations, des médias, des bibliothèques, des sites communautaires et des petites entreprises peuvent publier des contenus utiles à tous, tout en disposant de marges financières limitées pour absorber un trafic soudainement multiplié.

Wikipédia, un bien commun confronté à une demande commerciale

Wikipédia illustre avec force cette tension. Son contenu est accessible gratuitement et son ambition encyclopédique en fait une ressource recherchée. La fondation Wikimedia indique que les exigences de bande passante ont augmenté de 50 % en quelques mois. Cette progression met en lumière un décalage économique : l’accès aux connaissances peut être libre pour le public, tandis que l’infrastructure qui rend cet accès possible a un coût.

La question devient plus sensible lorsque les contenus sont utilisés dans une activité commerciale. La fondation Wikimedia s’inquiète de voir ses ressources exploitées sans rétribution adéquate. Il ne s’agit pas seulement de savoir si une information est publiquement consultable. Il s’agit aussi d’identifier qui finance sa production, son actualisation, son stockage et son partage.

Ce cas ne se résume pas à un affrontement entre ouverture et fermeture. Les projets collaboratifs reposent largement sur le partage du savoir. Mais une consultation occasionnelle par des personnes et une extraction industrielle de données n’ont pas le même effet matériel. Une page lue par un élève ou un lecteur occasionnel ne sollicite pas les systèmes de la même manière qu’un programme qui parcourt méthodiquement une grande partie d’un catalogue.

Le cas iFixit, révélateur des tensions pour les sites spécialisés

Le site iFixit, connu pour ses tutoriels de réparation, fait lui aussi partie des plateformes affectées par l’activité de bots. Son responsable, Kyle Wiens, a fait part de sa frustration face à l’utilisation intensive des serveurs du site par ces programmes automatisés et a appelé à une réflexion sur l’encadrement de ces pratiques.

Les tutoriels de réparation sont un bon exemple de contenu à forte valeur pratique. Ils résultent d’un travail d’explication, de documentation et de mise à jour. Ils peuvent intéresser des internautes qui souhaitent réparer un appareil, mais aussi des acteurs désireux de constituer des corpus très structurés. Lorsqu’un site doit supporter le coût d’une extraction intensive sans bénéficier d’un trafic humain, d’une publicité vue par un lecteur ou d’un paiement pour l’accès aux données, son modèle économique peut être fragilisé.

Cette situation est d’autant plus délicate que bloquer indistinctement les robots peut avoir des effets indésirables. Un site peut vouloir rester visible dans les résultats de recherche, permettre l’archivage de ses pages ou laisser certains partenaires accéder à ses données. La réponse ne consiste donc pas forcément à fermer la porte à toute automatisation, mais à distinguer les usages acceptables de ceux qui mettent en danger le service.

Comment les sites peuvent-ils limiter les bots ?

Les organisations disposent de plusieurs leviers, qui peuvent être combinés selon la nature de leur contenu et leurs moyens techniques. Aucun n’est infaillible : les robots les plus sophistiqués peuvent imiter certains comportements humains, tandis qu’un filtrage trop agressif risque de gêner de véritables visiteurs.

Parmi les mesures généralement envisagées figurent :

• l’identification des volumes de requêtes anormaux et des accès trop rapides ;
• la limitation temporaire du nombre de demandes provenant d’une même source ;
• le filtrage de certains robots déclarés ou de comportements suspects ;
• l’usage de mécanismes de vérification, comme les CAPTCHA, sur des parties sensibles d’un site ;
• des règles explicites sur les conditions d’accès aux données et aux interfaces techniques.

Le fichier robots.txt, placé à la racine de nombreux sites, constitue l’un des instruments les plus connus. Il indique aux robots quelles zones un éditeur souhaite voir explorées ou non. Mais il s’agit d’une convention : elle suppose que le robot la respecte. Elle ne remplace donc ni une barrière technique ni un cadre juridique.

La difficulté centrale est d’identifier correctement le trafic. Une adresse Internet peut être partagée par de nombreux utilisateurs, un robot peut changer d’identifiant et un service légitime peut générer beaucoup de requêtes. Les outils de détection doivent par conséquent analyser plusieurs signaux, comme le rythme de navigation, les pages demandées et la manière dont les requêtes sont formulées, sans transformer chaque visite en parcours d’obstacles.

Au-delà de la technique, le modèle économique du Web est en jeu

La multiplication des collectes soulève une question plus large : quelle place accorder aux contenus disponibles publiquement dans l’économie de l’IA ? Pendant des années, de nombreux sites ont fondé leur équilibre sur la publicité, les abonnements, les dons, la vente de services ou la visibilité apportée par les moteurs de recherche. Or un robot qui récupère l’information pour alimenter une base de données ou un modèle ne se comporte pas comme un lecteur classique.

Les sites gratuits sont particulièrement exposés, car ils sont facilement accessibles et rassemblent parfois d’importants volumes de textes ou de documents. Pourtant, l’accès libre ne résout pas à lui seul la question de l’usage commercial, de la charge imposée aux serveurs et de la reconnaissance du travail éditorial ou documentaire.

Si cette pression se poursuivait, certaines plateformes pourraient être poussées à modifier leurs conditions d’accès, à restreindre des contenus ou à rechercher de nouveaux modes de financement. Le risque est alors de voir des ressources aujourd’hui ouvertes devenir moins facilement accessibles, non par choix éditorial, mais pour couvrir des coûts techniques grandissants.

Ce qu’il faut surveiller pour un Web équitable

À l’automne 2025, le défi consiste à trouver un équilibre entre deux objectifs légitimes. D’un côté, l’innovation en intelligence artificielle nécessite des données et des capacités de recherche. De l’autre, les créateurs, les institutions et les communautés qui publient ces données doivent pouvoir continuer à financer leurs services et à protéger leurs infrastructures.

Les prochains débats porteront notamment sur la capacité des outils à distinguer un lecteur d’un programme automatisé, sur la transparence des collectes réalisées par les entreprises et sur les conditions dans lesquelles un contenu ouvert peut être réutilisé à grande échelle. Ils concerneront aussi la possibilité de mettre en place des accès mieux régulés pour les ressources les plus sollicitées.

L’enjeu dépasse la simple lutte contre les bots. Il touche à l’architecture économique et culturelle d’Internet. Préserver un Web riche en connaissances accessibles suppose de reconnaître que l’ouverture a besoin de règles, de moyens techniques et de financements capables de durer.