Trainium2 d’Amazon peut-il vraiment bousculer l’avance de Nvidia dans l’IA ?

La bataille de l’intelligence artificielle ne se joue pas seulement dans les assistants conversationnels et les modèles génératifs. Elle se déroule aussi, et d’abord, dans les centres de données. Entraîner un grand modèle de langage demande des milliers de processeurs spécialisés, beaucoup d’électricité et des investissements considérables. C’est sur ce terrain qu’Amazon Web Services, la branche cloud d’Amazon, entend se faire une place avec Trainium2, sa nouvelle puce dédiée à l’IA.

Présentée le 3 décembre 2024, à l’occasion de la conférence AWS re:Invent à Las Vegas, Trainium2 ne signifie pas qu’Amazon va vendre demain des cartes graphiques concurrentes de celles de Nvidia aux fabricants d’ordinateurs. L’ambition est différente, mais potentiellement très importante : proposer dans le cloud AWS une infrastructure de calcul capable d’entraîner des modèles d’IA à un coût plus compétitif, tout en réduisant la dépendance de ses clients aux GPU Nvidia.

Trainium2, une puce pensée pour entraîner les modèles d’IA

Trainium est une famille de processeurs conçus par AWS pour une tâche précise : l’entraînement des modèles de machine learning. Cette phase consiste à présenter à un modèle d’immenses volumes de données afin qu’il ajuste progressivement ses paramètres. Pour les grands modèles de langage, de vision par ordinateur ou de génération d’images, elle mobilise une puissance de calcul exceptionnelle pendant des semaines, voire des mois.

Une puce Trainium n’est donc pas un processeur généraliste comme ceux qui équipent les ordinateurs de bureau. Il s’agit d’un accélérateur, au même titre qu’un GPU utilisé pour l’IA. Son intérêt repose sur une spécialisation : en optimisant son architecture pour les calculs répétitifs des réseaux de neurones, AWS cherche à améliorer le rapport entre la puissance fournie, l’énergie consommée et le coût de location des serveurs.

La première génération de Trainium avait déjà posé les bases de cette stratégie. Avec Trainium2, AWS promet une progression marquée sur trois paramètres essentiels pour les entreprises qui développent des modèles : la vitesse de calcul, la quantité de mémoire disponible et l’efficacité énergétique.

Ces chiffres sont des annonces du fournisseur : les résultats réels dépendront du modèle entraîné, du logiciel employé, de la configuration retenue et de la capacité des équipes à adapter leurs programmes à Trainium2.

Des UltraServers pour passer de la puce au supercalculateur

Une seule puce ne suffit pas à créer un modèle de la taille des systèmes d’IA les plus avancés. Ces modèles sont répartis sur un très grand nombre d’accélérateurs qui doivent échanger des données rapidement et de façon coordonnée. C’est là qu’interviennent les nouvelles infrastructures annoncées par AWS : les Trn2 UltraServers et les UltraClusters.

Un UltraServer peut réunir jusqu’à 64 puces Trainium2 connectées entre elles. AWS annonce une puissance allant jusqu’à 83 pétaflops en FP8, un format de calcul à virgule flottante sur 8 bits souvent utilisé pour accélérer l’entraînement des réseaux de neurones, lorsque la précision nécessaire le permet. Un pétaflop équivaut à mille billions d’opérations en virgule flottante par seconde : cette unité donne une idée de l’échelle des machines en jeu, même si elle ne résume pas à elle seule leurs performances pratiques.

Les UltraClusters vont plus loin. Ils agrègent de nombreux serveurs en une même infrastructure afin de faire travailler ensemble un nombre bien plus important de puces. AWS vise ainsi des déploiements à l’échelle de centaines de milliers de Trainium2. Le réseau qui relie les machines, la mémoire et les logiciels de répartition des tâches deviennent alors aussi importants que la puce elle-même.

Pour un laboratoire ou une entreprise, l’intérêt potentiel est de pouvoir louer cette infrastructure via AWS plutôt que de devoir acquérir, installer et administrer son propre parc matériel. Cette approche correspond au modèle économique historique du cloud : transformer un investissement matériel colossal en service facturé à l’usage.

Pourquoi le prix est devenu une arme stratégique

La demande en capacité de calcul pour l’IA a explosé avec l’essor des modèles génératifs. Or les GPU de pointe sont coûteux, convoités et parfois difficiles à obtenir en volumes importants. Pour AWS, développer ses propres accélérateurs répond à deux objectifs complémentaires : mieux maîtriser son propre approvisionnement et proposer à ses clients une option distincte de l’offre Nvidia.

AWS ne cache pas l’importance du critère économique. L’entreprise affirme que les instances EC2 Trn2 offrent jusqu’à 30 à 40 % de meilleur rapport coût-performance que des instances EC2 comparables basées sur des GPU. Cette promesse mérite d’être lue correctement. Elle ne signifie pas nécessairement que chaque projet d’IA coûtera automatiquement 40 % moins cher. Le coût final dépend notamment de la vitesse à laquelle un modèle converge, de l’optimisation du code, de la mémoire requise, de la disponibilité des serveurs et de la durée de réservation choisie.

Mais l’argument peut peser lourd. À l’échelle d’un entraînement mobilisant des milliers de puces, même un écart limité sur le coût-performance représente des millions de dollars potentiellement économisés. Les start-up comme les grands groupes ont donc un intérêt concret à étudier des alternatives, surtout si elles utilisent déjà le cloud d’Amazon pour stocker leurs données, déployer leurs applications ou exploiter leurs modèles.

Face à Nvidia, l’obstacle majeur s’appelle CUDA

Le défi pour AWS ne se résume pas à fabriquer une puce performante. Nvidia a construit sa domination dans l’IA grâce à ses GPU, mais également grâce à CUDA, une plateforme logicielle lancée en 2006 qui permet aux développeurs d’exploiter la puissance de calcul parallèle de ses puces.

Au fil des années, CUDA est devenu un standard de fait dans de nombreux laboratoires et entreprises. Les chercheurs y trouvent des bibliothèques optimisées, des outils de débogage, de la documentation et une vaste communauté. De nombreux logiciels de calcul scientifique et d’apprentissage automatique ont été développés ou optimisés autour de cet environnement. Les ingénieurs savent l’utiliser, les tutoriels l’enseignent et les fournisseurs de logiciels le prennent en charge.

AWS propose de son côté le SDK Neuron, son environnement logiciel pour les puces Trainium et Inferentia. Il permet de compiler et d’optimiser des modèles pour son matériel. Mais migrer une charge de travail ne consiste jamais à cliquer sur un bouton. Une équipe doit vérifier la compatibilité de son modèle, adapter si nécessaire certains éléments, valider la qualité des résultats et mesurer les performances obtenues dans ses propres conditions.

Cette inertie logicielle explique pourquoi Nvidia reste difficile à déloger. Ses GPU sont employés pour l’IA, mais aussi dans le calcul scientifique, la visualisation et de nombreux environnements de cloud. Trainium2 doit donc convaincre non seulement par son prix, mais aussi par la simplicité réelle de son utilisation.

Anthropic, un client vitrine pour la stratégie d’Amazon

Le partenariat entre AWS et Anthropic donne une dimension concrète à la stratégie de Trainium. En novembre 2024, les deux entreprises ont annoncé Project Rainier, une infrastructure de calcul reposant sur des centaines de milliers de puces Trainium2. Anthropic, société à l’origine de la famille de modèles Claude, prévoit de l’utiliser pour entraîner et déployer ses futurs modèles.

Ce projet est important à deux titres. D’abord, il offre à AWS un client de premier plan, dont les besoins en puissance de calcul sont parmi les plus élevés du secteur. Ensuite, il permet de tester Trainium2 dans des conditions qui se rapprochent de celles des acteurs à la frontière technologique, là où les problèmes de réseau, de mémoire, de fiabilité et de passage à l’échelle deviennent déterminants.

Pour Amazon, un partenaire comme Anthropic peut accélérer la maturation de l’ensemble de la plateforme. Un client aussi exigeant pousse le fournisseur à améliorer ses compilateurs, ses bibliothèques et ses outils d’exploitation. Pour Anthropic, la relation offre une capacité de calcul supplémentaire et une voie pour diversifier ses infrastructures.

Il serait toutefois prématuré d’en déduire que Trainium2 a déjà gagné contre Nvidia. Le déploiement d’une infrastructure de cette ampleur prend du temps. Son efficacité se mesurera dans la durée, à travers la capacité à entraîner des modèles compétitifs, la stabilité opérationnelle et le coût effectivement constaté par les utilisateurs.

Trainium2 ne remplace pas mécaniquement tous les GPU

La comparaison entre Trainium2 et les GPU Nvidia ne doit pas masquer leurs différences de positionnement. Nvidia commercialise des puces utilisées dans de multiples types de serveurs et de clouds. AWS, lui, propose Trainium comme une brique intégrée à ses propres services. Une entreprise qui adopte Trainium2 fait donc aussi le choix de l’écosystème AWS.

Cette intégration peut être un avantage pour un client déjà installé dans ce cloud. Les données, les outils de sécurité, le stockage et les services de déploiement peuvent être rapprochés de la puissance de calcul. En revanche, une organisation qui souhaite rester indépendante de tout fournisseur, répartir ses charges de travail entre plusieurs clouds ou exploiter un logiciel exclusivement optimisé pour CUDA pourra rencontrer davantage de contraintes.

La montée de Trainium participe néanmoins à un mouvement plus large : les grandes entreprises du cloud veulent réduire leur dépendance aux puces Nvidia. Google développe ses TPU, Microsoft investit dans ses propres accélérateurs et AWS poursuit sa gamme Trainium. Cette concurrence est susceptible d’élargir l’offre disponible à un moment où la capacité de calcul est devenue une ressource stratégique.

Ce qu’il faut surveiller après l’annonce

Au 4 décembre 2024, Trainium2 apparaît comme une offensive sérieuse d’AWS, et non comme un basculement déjà accompli du marché. La question essentielle n’est pas seulement de savoir si la puce est rapide. Il faudra observer si elle devient un choix naturel pour les équipes qui entraînent des modèles de grande taille.

Plusieurs indicateurs permettront de juger sa trajectoire :

• l’arrivée de nouveaux clients majeurs en dehors d’Anthropic ;
• la disponibilité effective des instances et des UltraServers à grande échelle ;
• la facilité avec laquelle les modèles existants peuvent être portés vers le SDK Neuron ;
• les performances et les coûts constatés sur des projets concrets ;
• la capacité d’AWS à enrichir durablement son écosystème logiciel.

Nvidia conserve une avance considérable dans le matériel, le logiciel et les habitudes de travail des développeurs. Mais Trainium2 rappelle que la course à l’IA ne dépend plus d’un seul fabricant de puces. Pour les clients du cloud, l’arrivée d’alternatives crédibles pourrait favoriser une concurrence bienvenue sur les prix, la disponibilité et l’innovation des infrastructures.