Wikipédia met ses données structurées à disposition des développeurs d’IA

Pour entraîner ou évaluer un modèle d’intelligence artificielle, disposer de connaissances n’est pas suffisant : encore faut-il pouvoir les récupérer dans un format exploitable, stable et compatible avec des volumes importants. C’est précisément sur ce terrain que Wikimedia Enterprise intervient en avril 2025, en mettant à disposition sur Kaggle un extrait structuré des données de Wikipédia.

L’annonce répond à deux besoins qui se rejoignent. Les équipes de recherche et les développeurs cherchent des corpus textuels organisés pour leurs modèles, leurs analyses et leurs applications. Dans le même temps, l’encyclopédie subit une pression croissante de la part de robots qui parcourent automatiquement ses pages pour en aspirer le contenu. L’enjeu n’est donc pas d’ouvrir soudainement Wikipédia aux machines, ses contenus sont déjà largement accessibles, mais de proposer un canal plus adapté aux usages intensifs de l’IA.

Un extrait de Wikipédia conçu pour les usages de l’IA

Le jeu de données est publié par Wikimedia Enterprise, l’entité de l’écosystème Wikimedia chargée de faciliter l’accès professionnel aux contenus et aux flux de données. Il est distribué via Kaggle, une plateforme largement utilisée par les spécialistes des données pour partager des jeux de données, expérimenter et comparer des approches de machine learning.

La ressource ne consiste pas en une collection de pages Web brutes. Wikimedia Enterprise propose un extrait structuré, compressé et actualisé chaque mois. Il porte sur les éditions anglaise et française de Wikipédia. Ce choix permet à la fois de couvrir un volume considérable de connaissances et de fournir une base directement pertinente pour les équipes travaillant en français ou sur des systèmes multilingues.

La différence est importante. Télécharger des pages sous leur forme Web impose souvent de retirer le code de mise en page, de repérer les sections utiles, d’interpréter les modèles éditoriaux et de gérer des changements de structure. Un jeu préparé à l’avance réduit ce travail technique. Il ne remplace pas le jugement humain sur la qualité ou la pertinence des informations, mais il évite de consacrer une part disproportionnée du projet à l’extraction des données.

Pourquoi Wikimedia veut réduire le scraping intensif

Le scraping désigne la collecte automatisée de contenus depuis des pages ou services en ligne. Cette pratique peut servir à des usages légitimes, par exemple l’indexation d’un site par un moteur de recherche ou la constitution d’un corpus de recherche. Mais à très grande échelle, elle peut aussi multiplier les requêtes et solliciter lourdement les serveurs.

En avril 2025, Wikimedia estime que 65 % du trafic sur son site est généré par des bots de scraping. Pour une plateforme aussi consultée que Wikipédia, l’enjeu dépasse la seule question technique : chaque requête automatisée consomme de la capacité qui doit aussi rester disponible pour les internautes, les contributeurs et les outils habituels de l’encyclopédie.

Proposer un fichier structuré et régulièrement actualisé permet de déplacer une partie de ces usages vers un mode de distribution plus prévisible. Plutôt que de parcourir page par page le site public, une équipe peut travailler à partir d’une livraison préparée pour cet objectif. Cette approche vise à concilier l’ouverture des connaissances avec la nécessité de préserver les infrastructures qui les rendent accessibles.

Ce que contient le jeu de données publié sur Kaggle

Le contenu a été organisé en JSON, un format textuel qui représente les informations sous forme de champs et de valeurs. Très courant dans les logiciels et la science des données, il facilite l’importation dans un programme, une base de données ou une chaîne de préparation de corpus.

Wikimedia Enterprise met notamment à disposition des résumés, des descriptions, des informations provenant des infobox et des sections d’articles organisées. Les infobox sont ces encadrés qui synthétisent, selon le sujet, des éléments comme une date, une fonction, un lieu ou une caractéristique notable. Les éléments non textuels sont exclus, ce qui simplifie le traitement pour des projets principalement fondés sur le langage.

Cette structuration est utile à plusieurs étapes d’un projet. Un chercheur peut comparer des méthodes de classement ou de recherche d’information. Une entreprise peut constituer un corpus pour tester la capacité d’un modèle à retrouver un fait dans un article. Une équipe peut aussi préparer des données de fine-tuning, c’est-à-dire d’adaptation complémentaire d’un modèle existant à une tâche précise. Dans tous les cas, il reste nécessaire de filtrer, documenter et évaluer les données selon l’usage visé.

À quoi peut servir ce corpus pour les modèles de langage ?

Les grands modèles de langage ont besoin de quantités considérables de texte pour apprendre des régularités linguistiques et des associations entre concepts. Une encyclopédie apporte, à cet égard, des articles rédigés, structurés par thèmes et accompagnés de nombreux repères factuels. Mais exploiter un corpus encyclopédique dans un projet d’IA ne se résume pas à le verser dans un modèle.

Le jeu publié par Wikimedia Enterprise peut servir à plusieurs usages concrets :

• préparer des expériences de recherche sur la recherche d’information ou le résumé automatique ;
• mesurer la capacité d’un système à extraire des données depuis des textes structurés ;
• comparer les réponses d’un modèle avec des passages encyclopédiques identifiés ;
• alimenter une base documentaire pour un outil qui retrouve des extraits avant de formuler une réponse ;
• organiser un travail de fine-tuning ou d’évaluation sans passer par une collecte répétée des pages publiques.

Le format JSON est particulièrement intéressant lorsqu’un projet veut préserver la distinction entre le titre d’un article, son résumé, ses sections et les informations d’une infobox. Sans cette séparation, un modèle ou un outil de recherche risque de traiter un long texte comme un bloc indifférencié. La structure ne garantit pas la qualité d’une réponse générée, mais elle rend la préparation des données plus contrôlable.

L’actualisation mensuelle compte également. Wikipédia change en permanence : des articles sont corrigés, enrichis, réorganisés ou créés. Un corpus figé vieillit vite, surtout pour les sujets d’actualité. Une cadence mensuelle ne rend pas les données instantanées, mais elle donne un rythme clair aux équipes qui veulent renouveler leurs jeux de tests ou leurs bases documentaires.

Des données libres, mais pas sans règles de réutilisation

L’ouverture de Wikipédia ne signifie pas que les contenus peuvent être employés sans aucune condition. Les textes de l’encyclopédie sont proposés sous des licences libres, notamment Creative Commons Attribution - Partage dans les mêmes conditions et la GNU Free Documentation License, souvent désignée par l’acronyme GFDL.

Ces licences favorisent la circulation et la réutilisation des connaissances, tout en prévoyant des obligations. L’attribution de la source, le respect des conditions de partage et la prise en compte de la licence applicable font partie des vérifications indispensables. Pour un développeur, cela implique notamment de documenter l’origine du corpus et de ne pas confondre contenu librement accessible et contenu dépourvu de cadre légal.

Cette dimension est particulièrement importante dans le débat sur les données d’entraînement. Les développeurs de modèles cherchent des corpus abondants, fiables et juridiquement exploitables. Les sites qui hébergent ces connaissances doivent, eux, protéger leurs ressources, leurs communautés et la continuité du service. L’initiative de Wikimedia Enterprise ne règle pas tous les débats liés aux données utilisées par l’IA, mais elle propose un mécanisme plus explicite pour accéder à une partie du contenu encyclopédique.

La documentation mise à disposition, le dépôt GitHub et le forum communautaire sur Kaggle ont aussi une fonction pratique. Ils doivent aider les utilisateurs à comprendre la structure du fichier, à signaler des difficultés et à échanger sur les usages possibles. Dans un domaine où la reproductibilité des expériences est cruciale, cet accompagnement vaut autant que la mise en ligne du corpus lui-même.

Ce qu’il faut surveiller

Cette publication illustre une évolution plus large : les détenteurs de grands corpus publics cherchent à reprendre la main sur la façon dont leurs contenus alimentent l’intelligence artificielle. L’objectif est de ne pas opposer l’accès ouvert aux données et la protection des infrastructures, mais de concevoir des voies d’accès adaptées aux usages automatisés.

Plusieurs points permettront d’évaluer la portée de l’initiative dans les prochains mois. La régularité effective des mises à jour sera déterminante pour les projets qui doivent travailler sur des contenus récents. La qualité de la documentation et des échanges communautaires comptera pour les utilisateurs moins familiers des données Wikimedia. Il faudra aussi observer si l’accès à un corpus structuré contribue réellement à réduire la part du trafic liée au scraping.

Pour les lecteurs comme pour les développeurs, la leçon est simple : une bonne donnée d’IA n’est pas seulement un texte disponible en ligne. C’est aussi un contenu correctement structuré, mis à jour, documenté, réutilisable dans un cadre clair et accessible sans fragiliser le service qui l’a produit. Avec ce dataset, Wikimedia Enterprise tente de réunir ces conditions autour de l’une des plus grandes ressources encyclopédiques du Web.