Apprentissage fédéré : une puce à memristors allie efficacité et confidentialité

Faire coopérer plusieurs organisations sur un même modèle d’intelligence artificielle sans leur demander de verser leurs données dans une base commune est une promesse majeure de l’apprentissage fédéré. Mais cette approche a un coût technique : les échanges chiffrés et les calculs réalisés localement exigent du temps, de l’énergie et des composants adaptés. Des chercheurs de l’Université Tsinghua, de l’Institut de recherche de China Mobile et de l’Université de Hebei proposent une réponse matérielle à ce problème : une puce de calcul en mémoire fondée sur des memristors.

Présentée dans une étude publiée dans Nature Electronics, cette architecture entend traiter simultanément deux difficultés souvent opposées dans l’IA distribuée : préserver la confidentialité des informations et contenir la dépense énergétique. Les auteurs ont notamment mis leur système à l’épreuve sur une tâche de prédiction de la septicémie, avec quatre participants co-entraînant le même réseau de neurones.

Pourquoi l’apprentissage fédéré évite-t-il de déplacer les données sensibles ?

Dans un entraînement conventionnel, les données sont généralement centralisées sur une infrastructure unique afin qu’un modèle apprenne à y repérer des régularités. C’est une organisation efficace pour de nombreux projets, mais elle devient délicate lorsque les informations concernent des patients, des clients ou des utilisateurs et ne peuvent pas facilement quitter leur environnement d’origine.

L’apprentissage fédéré inverse en partie cette logique. Chaque participant conserve ses données localement et entraîne une copie du modèle avec ses propres exemples. Il transmet ensuite des éléments nécessaires à l’amélioration collective du modèle, plutôt que les données brutes elles-mêmes. Un serveur ou un mécanisme de coordination peut alors agréger ces contributions pour produire une nouvelle version du modèle partagé.

Cette méthode est particulièrement pertinente pour la santé et la finance, deux secteurs où les données personnelles sont à la fois précieuses pour les modèles et fortement sensibles. Elle ne doit toutefois pas être confondue avec une garantie automatique d’anonymat : le protocole de collaboration, le chiffrement, la protection des échanges et la gestion des participants restent déterminants.

Le calcul en mémoire, une réponse au mouvement incessant des données

La puce présentée s’appuie sur des memristors, des composants électroniques non volatils. À la différence d’une mémoire classique uniquement dédiée au stockage, un memristor peut conserver un état tout en participant aux calculs. Sa résistance électrique évolue en fonction du courant qui l’a traversé, une propriété qui peut être exploitée pour mémoriser et traiter l’information.

L’idée du calcul en mémoire consiste à rapprocher les opérations de calcul des données elles-mêmes, voire à les exécuter dans la zone de mémoire. Dans les architectures informatiques habituelles, une grande part de l’énergie et du temps est consommée par les allers-retours entre la mémoire, où l’information est stockée, et l’unité qui l’exécute. Ce mouvement devient particulièrement coûteux pour les réseaux de neurones, qui manipulent de nombreuses données et réalisent un très grand nombre d’opérations.

Dans le cas de l’apprentissage fédéré, cette contrainte est renforcée. Chaque participant doit entraîner un modèle local, produire les éléments nécessaires à la collaboration, puis les protéger avant transmission. L’implémentation locale requiert notamment une génération de clés, une génération de polynômes d’erreur et des calculs intensifs. Selon les chercheurs, ces étapes peuvent peser lourdement sur la durée de traitement et la consommation d’énergie.

La nouvelle puce vise donc moins à rendre un modèle plus intelligent qu’à rendre son entraînement distribué plus praticable sur le plan matériel. Réduire le mouvement des données est ici le levier central : moins de transferts internes signifie potentiellement moins d’énergie dépensée et une exécution plus rapide.

Des fonctions de sécurité placées au cœur de l’architecture

L’originalité du dispositif ne tient pas uniquement à la présence de memristors. Les chercheurs ont intégré plusieurs briques utiles à la sécurité du processus fédéré dans la même architecture matérielle.

La première est une fonction physique non clonable, ou PUF selon l’acronyme anglais. Cette fonction exploite les minuscules variations physiques propres à chaque puce pour participer à la génération de clés. Ces variations, difficiles à reproduire à l’identique, peuvent servir d’empreinte matérielle.

La seconde est un générateur de nombres aléatoires véritables, destiné à la génération des polynômes d’erreur requis par le système. Contrairement à une suite pseudo-aléatoire produite à partir d’une règle de calcul, un nombre aléatoire véritable dépend d’un phénomène physique. Il est donc utile lorsque l’imprévisibilité est un élément de sécurité.

Enfin, l’architecture comprend un circuit de tirage d’entropie fondé sur la mémoire. Les auteurs indiquent qu’il contribue à réduire les taux d’erreurs lors des calculs. Ils ont également montré que plusieurs fonctions pouvaient être implémentées simultanément dans une même matrice de memristors, avec une optimisation des circuits périphériques.

Cette intégration est importante : si les mécanismes de sécurité sont ajoutés sous la forme de composants distincts et de traitements supplémentaires, le bénéfice énergétique du calcul local risque de s’amenuiser. Les rapprocher du lieu où résident les données et où s’effectue l’entraînement peut limiter cette surcharge.

Une démonstration sur la prédiction de la septicémie

Pour évaluer leur conception, les chercheurs ont choisi un cas d’usage médical particulièrement sérieux : la prédiction de la septicémie, une affection grave liée à des infections sévères. Quatre participants ont co-entraîné un réseau de mémoire à long terme, ou LSTM, comportant deux couches.

Les réseaux LSTM sont une catégorie de réseaux de neurones conçue pour traiter des séquences de données et conserver certaines informations au fil des étapes de calcul. Ils peuvent être employés lorsque l’ordre ou l’évolution des informations est important. Dans cette démonstration, le modèle devait apprendre à prédire la septicémie sans que les participants aient à échanger leurs données brutes.

Le résultat le plus concret concerne l’exactitude du test : sur une matrice de memristors de 128 Ko, elle n’était inférieure que de 0,12 % à celle obtenue avec une méthode d’apprentissage centralisée. Les auteurs rapportent également une consommation d’énergie et un temps de traitement inférieurs avec leur méthode, sans que les chiffres détaillés de ces gains soient précisés dans les éléments présentés.

Le choix de la santé illustre bien l’intérêt théorique de cette approche. Les données médicales sont souvent distribuées entre plusieurs établissements ou systèmes et leur centralisation soulève des contraintes importantes de confidentialité. La démonstration ne constitue cependant pas une validation clinique : elle évalue une architecture matérielle et une méthode d’entraînement sur une tâche donnée, pas un outil médical prêt à être utilisé auprès de patients.

Ce que le prototype démontre, et ce qu’il ne démontre pas encore

Le résultat de 0,12 % est encourageant car il suggère que l’exécution sur la matrice de memristors s’approche de la performance d’une approche centralisée pour cette expérience. C’est un point essentiel : une puce économe n’aurait qu’un intérêt limité si son usage entraînait une perte importante de qualité des prédictions.

Il faut néanmoins situer cette avancée à son juste niveau. Le système a été illustré avec quatre participants, un réseau LSTM de deux couches et une tâche de prédiction précise. Il ne permet pas encore de conclure à une supériorité générale pour tous les modèles d’apprentissage profond, toutes les tailles de réseaux ou tous les environnements de déploiement.

La confidentialité dépend aussi de facteurs qui dépassent la puce elle-même : règles d’accès, authentification des participants, protocoles de communication, qualité de l’implémentation logicielle et cadre juridique applicable aux données. Une architecture matérielle capable de générer des clés ou de produire de l’aléa peut renforcer une chaîne de protection, mais elle ne rend pas inutile le reste de cette chaîne.

Pourquoi les secteurs sensibles suivent ce type de puce

Les applications qui manipulent des données sensibles doivent fréquemment arbitrer entre deux besoins : exploiter des informations dispersées pour améliorer un modèle et limiter leur exposition. L’apprentissage fédéré répond au premier niveau de cette équation en évitant le partage direct des données brutes. Le calcul en mémoire cherche à répondre au second en réduisant la charge matérielle associée à cette collaboration.

Dans la santé, cela pourrait concerner des systèmes entraînés à partir de données réparties entre plusieurs acteurs. Dans la finance, où les informations de clients et les opérations sont également sensibles, la possibilité d’entraîner des modèles sans centraliser les jeux de données est tout aussi attractive. Ces secteurs ont toutefois des exigences élevées en matière de fiabilité, de sécurité et de conformité : un gain de performance matériel doit s’accompagner de procédures rigoureuses avant tout usage opérationnel.

La recherche est également intéressante pour les appareils aux ressources limitées. Lorsqu’un entraînement ou une partie du traitement doit être effectué au plus près de la donnée, la sobriété énergétique devient un critère aussi important que la vitesse de calcul.

Ce qu’il faut surveiller

La prochaine étape sera de déterminer si cette architecture peut être adaptée à d’autres algorithmes d’apprentissage profond et à des tâches plus variées. Les chercheurs envisagent le perfectionnement de leur technologie pour la co-formation de différents modèles dans des situations réelles.

Plusieurs questions seront décisives. Il faudra mesurer les gains d’énergie et de temps à plus grande échelle, avec davantage de participants et des réseaux plus complexes. Il sera aussi nécessaire d’évaluer la stabilité des memristors, le comportement de la puce face aux erreurs et les conditions de fabrication permettant de passer d’une démonstration de laboratoire à un composant reproductible.

Enfin, la valeur de cette piste dépendra de son intégration dans des systèmes complets. Les puces de calcul en mémoire pourraient devenir une brique utile d’une IA plus distribuée et moins énergivore, à condition que les promesses matérielles s’articulent avec des protocoles robustes et une gouvernance exigeante des données.