ZeroSearch d’Alibaba veut entraîner les LLM sans factures de recherche

Entraîner un modèle de langage à chercher une information ne consiste pas seulement à lui apprendre à formuler une requête. Il faut aussi l’exposer à des résultats, lui apprendre à distinguer les documents utiles du bruit et à produire une réponse étayée. Or, solliciter un moteur de recherche réel à grande échelle peut rapidement devenir coûteux et difficile à maîtriser. C’est précisément le problème auquel s’attaque ZeroSearch, une méthode présentée par l’équipe du Tongyi Lab d’Alibaba Group.

L’idée peut sembler contre-intuitive : au lieu d’envoyer sans cesse des requêtes vers un moteur tel que Google, ZeroSearch utilise des documents simulés par une IA qui reproduisent le rôle de résultats de recherche. L’objectif est double : diminuer le coût des appels à des services externes et offrir aux chercheurs un cadre d’entraînement plus stable. Les résultats communiqués pour 64 000 requêtes font état d’un coût de 70,80 dollars, contre 586,70 dollars avec des API de Google.

Pourquoi la recherche web alourdit-elle l’entraînement des LLM ?

Les grands modèles de langage, ou LLM, répondent à des questions en prédisant la suite la plus probable d’un texte. Ils peuvent toutefois être limités par la date de leurs données d’entraînement, ou ne pas posséder une information suffisamment précise. Leur associer une fonction de recherche permet de récupérer des documents avant de rédiger une réponse.

Dans une configuration classique, le modèle formule une requête, un service de recherche renvoie une liste de pages ou d’extraits, puis le modèle doit exploiter ce contenu. Ce mécanisme est utile, mais chaque interrogation peut impliquer un appel à une API, c’est-à-dire une interface facturée permettant de communiquer avec un service tiers. Multipliez ce processus par des milliers ou des millions d’exemples d’entraînement, et la facture peut devenir un poste significatif.

Cette dépendance ne concerne pas uniquement le prix. Les résultats issus du Web public sont par nature mouvants : ils évoluent selon les contenus disponibles, les modifications des index et le classement opéré par le moteur. Deux campagnes d’entraînement menées à des moments différents ne disposent donc pas forcément du même matériau. Pour la recherche en IA, où la possibilité de reproduire une expérience compte beaucoup, cette variabilité complique les comparaisons.

ZeroSearch s’inscrit dans une tendance plus large : chercher à rendre l’apprentissage des systèmes d’IA moins tributaire de ressources externes coûteuses, qu’il s’agisse de données, de puissance de calcul ou de services en ligne. Ici, l’économie ne vient pas d’une absence de recherche, mais du remplacement des résultats obtenus sur un moteur réel par une simulation.

Comment ZeroSearch remplace-t-il un moteur de recherche ?

Le principe de ZeroSearch est de générer des documents qui imitent les résultats qu’un système de recherche pourrait fournir. Ces documents simulés deviennent ensuite le support sur lequel le LLM apprend à travailler. Plutôt que d’attendre une réponse d’un moteur public, les chercheurs produisent un environnement de recherche artificiel destiné à l’entraînement.

La méthode ne doit donc pas être comprise comme un moteur de recherche grand public concurrent de Google. Elle est avant tout une méthode de formation pour les concepteurs de modèles. Son enjeu est de permettre à un LLM d’apprendre à exploiter des résultats de recherche sans faire dépendre chaque exercice d’apprentissage d’un appel externe.

Le processus peut se résumer en trois étapes :

1. une requête ou une tâche est proposée au modèle ;
2. des documents simulés, générés par IA, jouent le rôle de résultats de recherche ;
3. le modèle est entraîné à utiliser ces éléments pour sélectionner des informations et produire une réponse.

L’intérêt de cette architecture est le contrôle. Lorsque les résultats viennent directement du Web, leur qualité peut être excellente, médiocre, contradictoire ou simplement hors sujet. Avec des documents synthétiques, l’équipe de recherche peut organiser les conditions de l’exercice et savoir plus précisément ce qui a été présenté au modèle.

Ce contrôle autorise aussi une forme de progression pédagogique. Les chercheurs indiquent pouvoir dégrader progressivement la qualité des documents. Le modèle ne s’entraîne donc pas uniquement sur des cas idéaux, où l’information pertinente se trouverait immédiatement dans le premier résultat. Il peut aussi être confronté à des documents moins précis ou moins utiles, afin de mieux résister à des situations de récupération d’information imparfaites.

Des coûts de requêtes divisés par plus de huit dans le test présenté

Le chiffre le plus parlant de ZeroSearch est financier. Dans les tests rapportés, l’entraînement portant sur 64 000 requêtes aurait coûté 70,80 dollars avec les résultats simulés, contre 586,70 dollars avec des appels à des API de Google. L’écart est de 515,90 dollars, soit un coût environ 8,3 fois inférieur dans ce cadre précis.

Ces montants doivent être lus pour ce qu’ils sont : les résultats d’un test présenté pour une même quantité de requêtes. Ils montrent l’intérêt économique potentiel de la simulation, mais ne constituent pas un tarif universel applicable à tous les projets. Dans un système réel, le coût dépend aussi de la puissance de calcul disponible, du modèle utilisé, de la taille des documents générés et du volume d’entraînement recherché.

L’avantage relatif peut néanmoins prendre de l’ampleur lorsque les modèles comportent davantage de paramètres. Dans ce cas, multiplier les appels à une API externe peut peser davantage sur le budget global de l’expérimentation. Réduire cette dépendance devient alors une manière de tester plus d’hypothèses sans augmenter proportionnellement les dépenses de recherche.

Des données plus contrôlées, mais pas nécessairement plus proches du Web réel

Le principal apport méthodologique de ZeroSearch n’est pas seulement de réduire une facture. En produisant les documents utilisés à l’entraînement, les chercheurs peuvent construire des jeux de données plus cohérents et plus prévisibles. Cette stabilité est susceptible de rendre la formation moins erratique, notamment lorsqu’il s’agit d’évaluer la capacité du modèle à exploiter une information récupérée.

Les résultats rapportés par l’équipe d’Alibaba indiquent que les modèles entraînés selon cette approche peuvent obtenir des résultats comparables, voire supérieurs, à ceux de méthodes s’appuyant sur des API traditionnelles. L’idée est que le modèle n’a pas besoin que chaque résultat vienne directement d’un moteur public pour apprendre les mécanismes essentiels : lire des documents, sélectionner les passages pertinents et répondre à une requête.

Il faut toutefois distinguer deux qualités différentes. Un corpus simulé peut être très utile pour contrôler un protocole expérimental. Il ne reproduit pas automatiquement toute la diversité du Web réel : sources mal structurées, informations contradictoires, contenus obsolètes, doublons ou réponses ambiguës. C’est pourquoi la possibilité de dégrader les documents est importante dans la méthode : elle vise à éviter que le modèle ne devienne performant seulement dans un environnement artificiellement propre.

Quel est le coût caché : les GPU A100 ?

L’économie réalisée sur les appels de recherche ne fait pas disparaître les besoins matériels. L’équipe de recherche souligne elle-même un compromis majeur : ZeroSearch peut nécessiter jusqu’à quatre GPU A100. Un GPU, ou processeur graphique, est une puce particulièrement adaptée aux calculs parallèles massifs requis par l’IA. Les A100 sont des accélérateurs destinés aux centres de données et aux charges de calcul intensives.

À l’inverse, une solution reposant sur une API de recherche externalise cette infrastructure. L’organisation qui utilise l’API paie un service et n’a pas besoin de mobiliser ces GPU pour obtenir les résultats du moteur. Cela peut être un avantage déterminant pour une petite équipe, un laboratoire sans accès à des serveurs spécialisés ou une entreprise qui veut déployer rapidement un prototype.

Le calcul économique dépend donc du contexte. Une structure qui possède déjà des GPU et les compétences techniques pour les exploiter peut trouver ZeroSearch particulièrement attractif. Une autre devra intégrer l’achat, la location ou le partage de cette puissance de calcul dans son bilan. Le montant de 70,80 dollars ne doit pas être interprété comme l’absence totale de coût informatique : il compare le coût présenté pour la méthode dans le test aux dépenses d’API correspondantes.

La dimension environnementale appelle la même prudence. Réduire les appels à un service externe ne permet pas, à lui seul, de conclure à un bénéfice écologique global. Faire fonctionner plusieurs GPU consomme aussi de l’électricité. Sans mesure complète de l’énergie utilisée, de la durée des calculs et de l’infrastructure mobilisée, il n’est pas possible de trancher simplement entre les deux options sur ce terrain.

À quelles limites ZeroSearch se heurte-t-il ?

ZeroSearch répond à un problème concret de coût et de reproductibilité, mais ne supprime pas tous les défis de la recherche d’information. La qualité des documents générés reste centrale. Si les simulations sont trop éloignées de situations rencontrées en pratique, le modèle risque de développer de bonnes performances dans l’exercice d’entraînement sans être aussi robuste face à des résultats réels, imparfaits et changeants.

Une autre limite concerne l’actualité. Un moteur de recherche interroge un index actualisé du Web. Des documents simulés ne constituent pas, par eux-mêmes, une connexion à l’information la plus récente. ZeroSearch vise l’apprentissage de capacités liées à la recherche, non le remplacement de l’accès à des sources en ligne lorsqu’un utilisateur a besoin de faits actualisés.

Enfin, l’approche dépend d’un équilibre délicat entre contrôle et diversité. Trop de contrôle peut appauvrir les scénarios rencontrés par le modèle. Trop de variété ou de bruit peut réduire la stabilité recherchée. La possibilité de créer plusieurs niveaux de qualité documentaire est une réponse à ce dilemme, mais son efficacité doit être appréciée selon les tâches visées et les modèles employés.

Ce qu’il faut surveiller

Au 17 mai 2025, ZeroSearch illustre une évolution importante dans la manière de former des LLM capables d’utiliser la recherche : déplacer une partie du travail depuis des services externes vers des environnements simulés et pilotables. Les chiffres annoncés rendent cette piste particulièrement intéressante pour les acteurs qui exécutent de très grands volumes de requêtes durant leurs expériences.

Les prochaines évaluations devront surtout montrer dans quelle mesure les gains observés se maintiennent sur des tâches variées, avec des modèles de tailles différentes et face à des conditions proches du Web réel. Il faudra aussi comparer le coût des API avec celui de l’infrastructure nécessaire pour générer les documents et entraîner les modèles.

Pour les utilisateurs finaux, l’enjeu est indirect mais concret. Si ces méthodes permettent de réduire les coûts de développement, elles pourraient accélérer la création de systèmes d’IA capables de mieux chercher, trier et exploiter l’information. Leur utilité dépendra toutefois de la capacité des concepteurs à conserver une exigence essentielle : ne pas confondre un environnement d’apprentissage bien contrôlé avec la complexité du monde réel.