Olympus : Amazon préparerait un modèle d’IA de 2 000 milliards de paramètres

Le marché de l’intelligence artificielle générative se joue désormais aussi dans les centres de données. Amazon préparerait Olympus, un modèle de langage de très grande taille qui pourrait atteindre 2 000 milliards de paramètres. À ce stade, il s’agit d’un projet confidentiel, mais son ampleur signalerait une accélération nette de la stratégie du groupe : ne plus seulement distribuer des modèles d’IA via son cloud AWS, mais disposer aussi d’un modèle maison susceptible de rivaliser avec les meilleures offres du secteur.

L’information doit être lue avec une précaution importante. Le nom Olympus, le volume de paramètres envisagé et l’organisation des équipes décrivent un travail en cours, non un produit disponible. Amazon n’a donc pas encore présenté publiquement les performances, les usages précis, le calendrier de lancement ni les conditions d’accès de ce futur modèle.

Olympus, le projet géant qui repositionne Amazon dans les modèles de langage

Olympus serait développé au sein d’Amazon sous l’impulsion de Rohit Prasad, scientifique en chef de l’intelligence artificielle générale du groupe. Pour mener le projet, il a réuni les chercheurs travaillant sur l’IA d’Alexa et les équipes scientifiques d’Amazon.

Ce rapprochement n’est pas anodin. Alexa a longtemps constitué la vitrine la plus visible de l’IA conversationnelle d’Amazon auprès du grand public. Les modèles de langage génératifs ouvrent toutefois un champ plus vaste que les commandes vocales : ils peuvent rédiger, résumer, traduire, classer des informations, répondre à des questions ou assister un salarié dans des tâches de bureau. Pour Amazon, l’enjeu est de transformer cette expertise en une infrastructure utilisable à grande échelle par les entreprises.

La concurrence est intense. OpenAI a installé ses modèles au cœur de nombreux services numériques, tandis qu’Alphabet dispose de capacités de recherche et de produits IA considérables. Dans ce contexte, développer un grand modèle interne offrirait à Amazon davantage de maîtrise sur sa technologie, son intégration dans AWS et sa feuille de route commerciale.

Que représentent 2 000 milliards de paramètres ?

Les paramètres sont les valeurs numériques qu’un réseau de neurones ajuste pendant son entraînement. Ils permettent au modèle de repérer des régularités dans de très grandes quantités de textes et, selon les systèmes, d’autres types de données. Lorsqu’un utilisateur écrit une requête, le modèle s’appuie sur ces réglages pour produire la suite de mots la plus pertinente au regard de son apprentissage et du contexte fourni.

Avec 2 000 milliards de paramètres, Olympus se situerait dans une catégorie exceptionnelle par sa taille. Ce nombre donne une indication sur la capacité potentielle du modèle à représenter des relations complexes dans les données, mais il ne constitue pas un classement suffisant à lui seul.

Un modèle plus grand n’est pas automatiquement plus utile. Sa qualité dépend aussi de facteurs décisifs : la diversité et la fiabilité des données d’entraînement, les méthodes utilisées pour le régler, sa capacité à suivre les consignes, la réduction des réponses inexactes et la rapidité avec laquelle il répond aux utilisateurs. Un système immense peut également coûter cher à entraîner et à faire fonctionner, car il requiert beaucoup de puissance de calcul et d’énergie.

La course aux paramètres est donc autant une démonstration de capacité industrielle qu’un enjeu scientifique. Envisager un modèle de cette dimension suppose de pouvoir mobiliser des infrastructures de calcul très importantes, puis de proposer aux entreprises un service qui reste suffisamment fiable, rapide et abordable.

Pourquoi Amazon rassemble les équipes d’Alexa et d’Amazon Science

La constitution d’une équipe commune traduit une évolution de l’IA chez Amazon. D’un côté, Alexa apporte une longue expérience des interactions en langage naturel et des attentes liées à une interface conversationnelle. De l’autre, Amazon Science réunit des compétences de recherche, d’apprentissage automatique et de déploiement à grande échelle dans les produits du groupe.

Cette association peut répondre à plusieurs besoins. Un modèle de langage destiné aux entreprises doit comprendre les demandes formulées dans un langage courant, mais aussi s’intégrer dans des applications concrètes. Il doit fonctionner avec des documents, des bases de connaissances et des outils métiers, tout en respectant les contraintes de sécurité et de confidentialité propres aux organisations clientes.

Amazon cherche ainsi à consolider une chaîne complète, depuis la recherche sur les modèles jusqu’à leur mise à disposition par le cloud. Cette logique est cohérente avec le poids d’AWS dans les activités du groupe. Pour un fournisseur de cloud, l’IA générative ne consiste pas seulement à publier un modèle : il faut aussi fournir aux entreprises les moyens de l’essayer, de l’adapter à leurs données et de l’intégrer à leurs logiciels.

AWS, la voie commerciale d’Amazon pour l’IA générative

Amazon ne part pas d’une page blanche dans la distribution de modèles. Le groupe a déjà noué des partenariats avec des entreprises spécialisées, dont Anthropic et AI21 Labs, afin de proposer leurs modèles aux utilisateurs d’AWS. L’objectif est d’offrir aux organisations un choix de technologies plutôt que de les enfermer dans un modèle unique.

Cette stratégie a deux avantages. D’abord, elle permet à AWS de répondre immédiatement aux besoins des entreprises qui souhaitent expérimenter l’IA générative. Ensuite, elle donne à Amazon le temps de faire progresser ses propres modèles internes, dont Olympus pourrait devenir l’élément le plus ambitieux.

La coexistence d’un modèle propriétaire et de modèles partenaires peut être attractive pour les clients du cloud. Une entreprise n’a pas nécessairement les mêmes critères selon l’usage visé : un assistant de rédaction, un outil de recherche documentaire, un chatbot de support ou un système de traduction ne demandent pas exactement les mêmes compromis entre coût, vitesse, précision et contrôle des données.

Lors d’un appel avec les investisseurs en avril 2023, les dirigeants d’Amazon avaient annoncé une hausse des investissements dans les grands modèles de langage et l’IA générative. Dans le même temps, le groupe réduisait certaines opérations de préparation de commandes et de transport dans sa vente au détail. Le signal était clair : l’IA générative est devenue une priorité d’investissement stratégique, au même titre que les infrastructures nécessaires à son déploiement.

Comment les entreprises peuvent-elles utiliser un grand modèle de langage ?

Les grands modèles de langage, souvent désignés par l’acronyme anglais LLM, sont entraînés à manipuler le texte. Ils ne remplacent pas mécaniquement les logiciels classiques, mais peuvent servir de couche d’interaction plus souple. Au lieu de remplir une succession de menus ou de règles rigides, un utilisateur peut exprimer une demande en langage courant.

Parmi les applications envisageables figurent notamment :

• la rédaction de premiers jets de documents, de synthèses ou de réponses au service client ;
• la traduction et l’adaptation de contenus dans différentes langues ;
• l’extraction d’informations et le résumé de corpus documentaires volumineux ;
• les interfaces conversationnelles pour assister les salariés ou les clients ;
• l’amélioration de systèmes de recommandation grâce à une meilleure compréhension des descriptions et requêtes textuelles.

Dans la pratique, la personnalisation est centrale. Une entreprise peut vouloir relier un modèle à ses propres documents, à condition de mettre en place les droits d’accès appropriés et des règles de protection des données. Elle peut aussi lui fournir des instructions précises afin d’encadrer le ton, le format des réponses et les tâches autorisées.

Taille, coûts et environnement : les limites de la course aux modèles géants

Les LLM promettent des gains de productivité lorsqu’ils automatisent des tâches répétitives ou accélèrent la recherche d’information. Ils peuvent réduire le temps consacré à un premier brouillon, à une classification ou à une traduction. Mais ces bénéfices ne sont ni garantis ni uniformes : ils dépendent de la qualité du déploiement et du travail de vérification restant à accomplir.

L’argument environnemental appelle aussi de la nuance. Les avancées dans les puces, les logiciels et les méthodes d’entraînement peuvent améliorer l’efficacité des systèmes d’IA, c’est-à-dire réduire la quantité de calcul nécessaire pour une tâche donnée. Toutefois, un modèle de la taille envisagée pour Olympus nécessite lui-même des ressources informatiques substantielles. Sans données précises sur son entraînement et son exploitation, il est impossible d’évaluer son impact réel.

La question économique est tout aussi importante. Pour séduire les entreprises, Amazon devra démontrer que les capacités d’Olympus justifient ses coûts d’utilisation. La taille d’un modèle peut enrichir ses possibilités, mais une offre cloud compétitive repose aussi sur la disponibilité, la vitesse de réponse, la simplicité d’intégration et la prévisibilité de la facture.

Ce qu’il faut surveiller

Le premier élément à suivre sera une éventuelle annonce officielle d’Amazon. Elle devra préciser si Olympus devient un produit AWS, un composant intégré à des services existants, ou une technologie utilisée plus largement dans l’écosystème Amazon. Les tests de performance, les langues prises en charge et les mécanismes de sécurité seront particulièrement attendus.

Le second enjeu concerne la place réelle du modèle parmi les offres déjà distribuées par AWS. Amazon pourrait chercher à combiner son propre LLM avec les modèles d’Anthropic et d’AI21 Labs, en laissant les entreprises choisir selon leurs besoins. Cette approche diversifiée permettrait au groupe de ne pas dépendre d’une seule technologie.

Enfin, Olympus illustre un changement de dimension dans la compétition de l’IA générative. Les modèles ne sont plus seulement des démonstrations de recherche : ils deviennent des actifs stratégiques pour les fournisseurs de cloud, qui se disputent les charges de calcul, les données et les usages des entreprises. Pour Amazon, réussir Olympus signifierait prouver qu’il peut tenir un rôle de premier plan, non seulement comme infrastructure de l’IA, mais aussi comme créateur de modèles de référence.