Réseaux neuronaux : une architecture hybride jusqu’à 39,2 fois plus efficace

L’intelligence artificielle ne se résume pas à des modèles et à des logiciels : elle dépend aussi de milliards d’opérations mathématiques réalisées par des circuits électroniques. Or, à mesure que les réseaux neuronaux gagnent en taille et en complexité, l’énergie nécessaire pour les exécuter devient un enjeu aussi important que leur vitesse. Des chercheurs de l’Université Tsinghua proposent une piste matérielle originale : faire coopérer calcul analogique et calcul numérique afin de réduire fortement l’énergie consommée.

Leur architecture dite à double domaine, présentée au 14 février 2025, vise plus précisément l’exécution de réseaux neuronaux. Dans les tests communiqués, elle affiche une efficacité énergétique allant jusqu’à 39,2 fois celle de multiplicateurs FP-32 conventionnels. Ce résultat est notable, mais il doit être lu pour ce qu’il est : une mesure obtenue dans un cadre expérimental précis, et non la promesse que tous les serveurs d’IA consommeront automatiquement 39,2 fois moins d’électricité.

Pourquoi les réseaux neuronaux sont-ils si gourmands en énergie ?

Lorsqu’un réseau neuronal analyse une image, classe un signal ou estime une valeur, il enchaîne principalement des multiplications et des additions. Ces calculs prennent très souvent la forme de multiplications de matrices, de grands tableaux de nombres dont chaque case doit être combinée à de nombreuses autres. C’est le moteur mathématique d’une grande partie du machine learning.

Les processeurs numériques classiques réalisent ces opérations avec une très grande précision. Ils représentent les nombres sous forme de données binaires et les manipulent étape par étape. Le format FP-32, pour virgule flottante sur 32 bits, est une référence courante : il offre une précision utile pour de nombreux calculs scientifiques et d’apprentissage automatique.

Cette méthode a toutefois un coût énergétique. Dans une architecture conventionnelle, les données et les calculs circulent entre différentes parties du système. Pour les grands réseaux neuronaux, déplacer des données peut devenir presque aussi coûteux que les opérations elles-mêmes. Plus le modèle traite de matrices, plus ce va-et-vient sollicite la mémoire, les interconnexions et les unités de calcul.

C’est pourquoi les chercheurs explorent depuis plusieurs années le calcul en mémoire, souvent désigné par l’expression anglaise compute-in-memory ou CIM. Son idée générale consiste à rapprocher autant que possible le calcul de l’endroit où les données sont stockées. Il ne s’agit pas seulement d’accélérer l’IA : l’enjeu est d’éviter des transferts d’information inutiles et, par conséquent, de réduire la dépense énergétique.

Les promesses, mais aussi les limites du calcul analogique en mémoire

Le calcul analogique offre une autre manière d’aborder certaines opérations. Au lieu de représenter chaque valeur uniquement par des suites de bits, il exploite des grandeurs physiques, notamment des courants électriques. Dans ce cadre, les lois de l’électricité peuvent contribuer directement à effectuer des opérations de type multiplication et addition, très fréquentes dans les réseaux neuronaux.

La loi de Kirchhoff est centrale dans cette approche. Dans un circuit, les courants qui arrivent à un point et ceux qui en repartent suivent des relations physiques déterminées. Des architectures adaptées peuvent tirer parti de ces relations pour effectuer naturellement, et en parallèle, une partie des calculs matriciels. Cette parallélisation est particulièrement intéressante lorsqu’il faut manipuler de très grandes quantités de valeurs.

Mais l’analogique ne remplace pas sans difficulté le numérique. Les systèmes de calcul en mémoire sont confrontés à plusieurs obstacles :

• le bruit computationnel, c’est-à-dire des perturbations ou imprécisions inhérentes aux signaux physiques ;
• la difficulté à conserver une précision suffisante lorsque les calculs deviennent complexes ;
• la compatibilité avec les données à virgule flottante, très employées dans l’entraînement et l’exécution des réseaux neuronaux ;
• la nécessité de traiter des tâches de régression, qui demandent souvent un résultat numérique fin et pas seulement une décision parmi quelques catégories.

Une tâche de classification peut parfois tolérer qu’un score varie légèrement, tant que la bonne catégorie reste en tête. Une tâche de régression est plus exigeante : le système doit produire une valeur continue, par exemple une estimation, avec un niveau de précision pertinent. C’est l’une des raisons pour lesquelles un calcul analogique très rapide et peu énergivore ne suffit pas, à lui seul, à répondre à tous les besoins de l’IA.

Comment fonctionne l’approche à double domaine de Tsinghua ?

L’équipe de Tsinghua propose un système hybride qui fait travailler ensemble les domaines analogique et numérique. L’objectif n’est pas d’abandonner la précision du numérique au profit de la sobriété de l’analogique, mais de combiner leurs avantages respectifs.

L’architecture s’inspire du calcul analogique en mémoire, tout en intégrant des calculs numériques précis. Les opérations massivement parallèles, notamment les multiplications de matrices à grande échelle, peuvent bénéficier des mécanismes analogiques fondés sur les courants électriques. Le numérique apporte de son côté un cadre mieux adapté aux calculs précis et à l’utilisation de données à virgule flottante.

Cette répartition des rôles est le sens de l’expression « double domaine ». Elle cherche à faire du calcul analogique un composant utile d’un système complet, plutôt qu’une démonstration isolée performante uniquement sur quelques opérations simples.

Des tests qui dépassent les démonstrations élémentaires

L’intérêt de cette recherche tient aussi à la nature des évaluations réalisées. Les chercheurs indiquent avoir exécuté des tâches de régression complexes, un terrain sur lequel les systèmes analogiques antérieurs avaient rencontré des difficultés. Cela suggère que l’architecture hybride peut mieux gérer les exigences de précision qui freinent habituellement l’emploi de l’analogique pour certains modèles.

L’équipe rapporte également la première démonstration complète d’une tâche de détection d’objets multi-cibles sur un système ACIM réel. ACIM désigne ici un système de calcul analogique en mémoire. La détection multi-cibles consiste à identifier plusieurs objets dans une même image et à les localiser. C’est un exercice plus complet qu’une simple classification, qui se contente de désigner l’étiquette principale d’une image.

Cette démonstration est importante pour une raison simple : une technologie matérielle ne devient crédible pour l’IA que si elle peut s’insérer dans une chaîne de traitement utile. Réaliser une multiplication de matrices en laboratoire est une première étape. Faire fonctionner une tâche de vision par ordinateur complète rapproche davantage l’architecture de cas d’usage concrets.

Pour autant, il serait prématuré de présenter ce système comme un remplacement immédiat des processeurs et accélérateurs numériques. Les résultats montrent un potentiel, pas encore une disponibilité industrielle à grande échelle. La fabrication, la stabilité des composants, la reproductibilité des performances et l’intégration avec les logiciels existants restent des questions essentielles.

Ce que le gain de 39,2 fois signifie réellement

Une efficacité énergétique « presque 40 fois supérieure » est un ordre de grandeur marquant. Dans l’univers des puces destinées à l’IA, même des gains moins spectaculaires peuvent avoir des conséquences concrètes, car les modèles exécutent leurs calculs de façon répétée et à très grande échelle.

Il faut néanmoins éviter deux raccourcis. D’abord, efficacité énergétique et performance brute ne sont pas synonymes. Une puce peut être très efficace pour une opération donnée sans être la plus rapide dans tous les scénarios. Ensuite, le gain mesuré à l’échelle d’un composant ou d’un type d’opération ne se traduit pas mécaniquement par la même économie à l’échelle d’un appareil complet.

Un système réel consomme aussi de l’énergie pour stocker les données, les déplacer, les convertir, les refroidir et exécuter des logiciels. La nature du modèle, la taille des lots de données, la fréquence d’utilisation et les contraintes de précision influencent tous le bilan final. C’est pourquoi les comparaisons énergétiques les plus utiles précisent toujours le matériel de référence, le modèle exécuté et le périmètre de la mesure.

Le résultat de Tsinghua demeure significatif : il illustre une direction de recherche où le matériel est conçu en fonction des calculs de l’IA, et non comme un processeur généraliste auquel on demanderait de tout faire. Cette spécialisation peut devenir déterminante à mesure que les besoins de calcul progressent.

Pourquoi le co-design matériel-logiciel est décisif

Les chercheurs envisagent de poursuivre le développement de cette architecture en améliorant sa précision et son efficacité énergétique. Leur axe de travail repose sur le co-design, c’est-à-dire l’optimisation conjointe des algorithmes et du matériel.

Cette notion est essentielle. Un réseau neuronal est généralement conçu en supposant qu’il sera exécuté sur du matériel numérique conventionnel. À l’inverse, une architecture analogique ou hybride possède ses propres forces et contraintes : niveau de bruit, précision disponible, organisation de la mémoire, taille des matrices traitées. Adapter le modèle à ces caractéristiques peut permettre de conserver de bonnes performances tout en tirant parti du gain énergétique.

Le co-design peut prendre plusieurs formes : choisir des opérations plus adaptées au circuit, calibrer les calculs numériques qui complètent l’analogique, ou modifier l’organisation d’un réseau pour réduire les passages les plus coûteux. Il ne s’agit pas de dégrader arbitrairement la qualité d’un modèle pour économiser de l’énergie, mais de rechercher le meilleur compromis entre précision, vitesse et consommation.

Cette approche intéresse particulièrement les applications où l’énergie disponible est limitée ou coûteuse : appareils embarqués, systèmes de vision, objets connectés ou infrastructures qui doivent exécuter de nombreux modèles. Elle pourrait aussi contribuer à réduire l’empreinte énergétique globale de certaines charges d’IA, à condition que les gains observés en laboratoire soient confirmés à plus grande échelle.

Ce qu’il faut surveiller

La prochaine étape consistera à vérifier jusqu’où l’architecture à double domaine peut s’étendre. Les questions à suivre sont claires : peut-elle conserver sa précision sur des réseaux plus variés ? Peut-elle prendre en charge davantage de tâches complexes ? Les bénéfices énergétiques se maintiennent-ils lorsque l’on considère l’ensemble du système, et non seulement les opérations de calcul les plus favorables ?

Les travaux de Tsinghua rappellent surtout qu’il n’existe pas une seule voie pour rendre l’IA plus sobre. Optimiser les modèles, concevoir de meilleurs logiciels et développer des accélérateurs spécialisés sont des pistes complémentaires. En combinant analogique et numérique, cette architecture propose une réponse concrète à un défi devenu central : continuer à augmenter les capacités des réseaux neuronaux sans laisser leur coût énergétique progresser au même rythme.