Huawei CloudMatrix 384, le pari chinois pour réduire l’avantage de Nvidia

Dans les centres de données dédiés à l’intelligence artificielle, la puissance brute des puces ne suffit plus. À mesure que les modèles grandissent et répartissent leur travail entre des centaines, voire des milliers d’accélérateurs, le déplacement des données devient un problème aussi important que leur calcul. C’est sur ce point précis que Huawei entend se distinguer avec CloudMatrix 384, également présenté comme un Supernode 384.

Dévoilée lors de la conférence Kunpeng Ascend Developer, organisée à Shenzhen, cette infrastructure rassemble 384 processeurs Ascend dans un ensemble étroitement interconnecté. L’ambition n’est pas seulement de proposer davantage de puces pour l’IA, mais de les faire coopérer plus efficacement que dans un cluster de serveurs conventionnel. Pour Huawei, il s’agit d’une voie pour réduire l’avantage de Nvidia sur les infrastructures d’IA à grande échelle, dans un marché où les restrictions américaines sur les technologies de semi-conducteurs ont profondément modifié la compétition.

Un supernœud pour supprimer les embouteillages entre serveurs

Les grands modèles d’IA ne s’exécutent généralement pas sur une seule puce. Leur entraînement comme leur utilisation sont répartis entre de nombreux accélérateurs, reliés par un réseau. Dans une architecture classique, chaque serveur possède ses propres ressources et communique avec les autres par des interconnexions réseau, souvent fondées sur Ethernet. Cette organisation est flexible, mais elle peut ralentir les traitements lorsque les échanges de données deviennent très fréquents.

Zhang Dixuan, président de Huawei, résume le problème ainsi : « À mesure que l’échelle du traitement parallèle augmente, la bande passante entre machines dans les architectures serveur traditionnelles est devenue un goulet d’étranglement. »

CloudMatrix 384 cherche donc à rapprocher calcul, mémoire et communication. L’ensemble comprend douze armoires de calcul et quatre armoires de bus. Au lieu de s’appuyer sur des liaisons Ethernet conventionnelles entre chaque machine, Huawei met en avant des connexions par bus à haute vitesse. Le constructeur décrit cette approche comme une architecture pair-à-pair, pensée pour que les processeurs puissent échanger directement et rapidement les données nécessaires à un même traitement.

L’expression « abandon de l’architecture de Von Neumann » doit ici être comprise comme une manière de décrire l’organisation globale du système, plutôt que comme la disparition du principe de calcul classique à l’intérieur de chaque puce. L’enjeu concret est surtout de diminuer les transferts coûteux entre des serveurs séparés et de réduire l’attente des processeurs.

Les caractéristiques annoncées de CloudMatrix 384

Huawei attribue à son supernœud une puissance totale de 300 petaflops et 48 To de mémoire à large bande. Dans les charges d’IA modernes, cette mémoire est déterminante : elle stocke les paramètres du modèle et les données intermédiaires qu’il faut consulter en permanence. Si les accélérateurs doivent attendre l’arrivée de ces informations, leur puissance de calcul reste sous-exploitée.

Le groupe avance également un gain d’un facteur 15 pour la bande passante de communication, comparé à des interconnexions Ethernet conventionnelles. La latence annoncée passerait de 2 microsecondes à 200 nanosecondes. Une nanoseconde représente un milliardième de seconde. À cette échelle, le bénéfice ne se perçoit pas dans une interaction humaine, mais il peut compter lorsqu’un modèle répète des milliards d’échanges entre ses composants.

Ces chiffres décrivent les caractéristiques et les mesures communiquées pour le système. Ils ne remplacent pas des comparaisons indépendantes utilisant les mêmes modèles, les mêmes réglages, la même précision de calcul et les mêmes conditions d’exploitation. C’est une nuance essentielle dans un secteur où les résultats peuvent varier sensiblement selon la taille des lots de requêtes, le logiciel employé ou la façon dont le modèle est réparti.

Pourquoi les modèles Mixture-of-Experts sont particulièrement concernés

L’architecture est notamment conçue pour les modèles dits Mixture-of-Experts, ou MoE. Plutôt que de faire travailler toutes les parties d’un réseau neuronal pour chaque mot ou fragment de texte traité, cette famille de modèles active des sous-réseaux spécialisés, appelés experts. Un mécanisme de sélection oriente chaque tâche vers les experts les plus pertinents.

Cette méthode permet d’augmenter très fortement le nombre total de paramètres sans activer l’intégralité du modèle à chaque étape. En contrepartie, elle exige de déplacer rapidement les données vers les bons experts, parfois situés sur des processeurs différents. Le réseau interne devient alors un composant central de la performance.

C’est dans ce type de scénario que Huawei met en avant les résultats les plus élevés. Les modèles des familles Qwen et DeepSeek auraient atteint entre 600 et 750 tokens par seconde sur CloudMatrix 384. Un token est une unité de texte manipulée par un modèle de langage, qui peut correspondre à un mot, une partie de mot ou un signe de ponctuation. Le nombre de tokens générés par seconde donne une indication de débit, particulièrement utile pour les services qui doivent répondre à de nombreuses requêtes.

Des performances qui doivent être lues avec méthode

Pour les modèles denses, ceux qui mobilisent un ensemble plus fixe de paramètres à chaque opération, Huawei cite un résultat de 132 tokens par seconde avec LLaMA 3 de Meta. La présentation affirme qu’il s’agit d’une performance 2,5 fois supérieure à celle d’architectures de clusters traditionnelles utilisées comme référence.

Le résultat est significatif parce qu’il illustre l’objectif du système : obtenir un gain non pas en changeant nécessairement de puce à chaque génération, mais en améliorant la manière dont les puces sont reliées. Il ne permet toutefois pas, à lui seul, de conclure qu’un CloudMatrix 384 surpasse toutes les solutions de Nvidia. La comparaison fournie porte sur des clusters traditionnels, sans préciser dans les éléments disponibles la configuration exacte de la référence, le protocole de test ni l’équivalent direct côté Nvidia.

Nvidia conserve en effet des atouts qui dépassent le seul matériel : une gamme de GPU largement déployés, des technologies de réseau dédiées aux centres de données et, surtout, un environnement logiciel très adopté par les chercheurs et développeurs. Une infrastructure concurrente doit donc prouver simultanément sa vitesse, sa fiabilité, sa disponibilité et la facilité avec laquelle les équipes peuvent porter leurs modèles et leurs outils.

Une innovation façonnée par la rivalité technologique sino-américaine

Ce projet prend une résonance particulière dans le contexte des contrôles américains qui limitent l’accès de Huawei à des technologies de semi-conducteurs de pointe. Face à ces contraintes, l’entreprise cherche à tirer le maximum des composants auxquels elle peut accéder et à réduire sa dépendance à l’égard des chaînes d’approvisionnement contrôlées par les États-Unis.

CloudMatrix 384 serait fondé sur le processeur d’IA Ascend 910C. Cette puce est décrite comme moins avancée que les dernières générations disponibles chez certains concurrents internationaux. Huawei mise donc sur une autre forme d’optimisation : compenser un éventuel décalage de génération par la densité d’intégration, la mémoire et la qualité des échanges entre accélérateurs.

La stratégie n’est pas sans conséquence pour le marché mondial. À court terme, elle peut offrir aux entreprises chinoises une solution locale pour développer ou exploiter de grands modèles. À plus long terme, elle contribue aussi à une fragmentation de l’infrastructure de l’IA, avec des écosystèmes matériels et logiciels susceptibles de suivre des trajectoires distinctes selon les zones géopolitiques.

Des déploiements en Chine et un défi logiciel majeur

Huawei indique avoir déjà déployé des systèmes CloudMatrix 384 dans plusieurs centres de données chinois, notamment dans les provinces de l’Anhui, de Mongolie intérieure et du Guizhou. Ces installations montrent que le projet ne se limite pas à une démonstration en conférence. Elles doivent également permettre de vérifier le comportement du système dans des conditions d’exploitation prolongées, avec des usages réels et des volumes importants.

Le constructeur met en avant une possibilité d’extension jusqu’à des dizaines de milliers de processeurs interconnectés. Cette capacité de montée en échelle intéresse directement les acteurs qui entraînent des modèles toujours plus vastes ou servent des applications à grande audience. Mais connecter davantage de puces ne garantit pas automatiquement de meilleurs résultats. Il faut que les logiciels de distribution du calcul, les compilateurs, les bibliothèques et les outils de surveillance exploitent correctement l’architecture.

C’est probablement le test le plus difficile pour Huawei. Les développeurs doivent pouvoir adapter leurs projets sans réécrire une part excessive de leur code, former leurs équipes et trouver des outils compatibles. La présence de modèles chinois comme Qwen et DeepSeek dans les démonstrations montre l’importance d’un écosystème local de modèles et de logiciels autour des puces Ascend.

Ce qu’il faut surveiller

La première question sera celle de la reproductibilité des performances. Des évaluations détaillées, réalisées sur des modèles variés et avec des protocoles transparents, aideraient à situer plus précisément CloudMatrix 384 face aux clusters disponibles sur le marché.

La deuxième concerne l’adoption logicielle. Dans l’IA, une puce performante sans bibliothèques solides, documentation accessible et outils appréciés des développeurs reste difficile à déployer à grande échelle. Les efforts de Huawei auprès de la communauté technique lors de ses conférences indiquent que le groupe a conscience de cette réalité.

Enfin, la trajectoire de CloudMatrix dépendra de l’évolution de la rivalité technologique entre Washington et Pékin. Les restrictions d’accès aux composants avancés ont poussé Huawei à innover dans l’architecture système. Elles pourraient aussi déterminer la vitesse à laquelle cette alternative se diffusera, en Chine comme au-delà. Le Supernode 384 ne met donc pas fin à la domination de Nvidia, mais il matérialise une concurrence devenue plus inventive, plus stratégique et de plus en plus structurée autour des infrastructures nationales.