Memristors : comment ces composants pourraient limiter l’oubli catastrophique de l’IA

Une intelligence artificielle n’apprend pas toujours comme on l’imagine. Lorsqu’elle reçoit une nouvelle tâche après une première phase d’entraînement, elle peut se mettre à moins bien accomplir ce qu’elle savait faire auparavant. Cette fragilité, appelée oubli catastrophique, est un obstacle important à la création de systèmes capables d’évoluer durablement dans le monde réel.

Les memristors figurent parmi les pistes matérielles étudiées pour atténuer ce problème. Ces composants électroniques associent mémoire et calcul d’une manière qui rappelle, de loin, le rôle des synapses dans le cerveau. Les progrès évoqués autour de dispositifs à commutation analogique et d’architectures neuromorphiques nourrissent l’espoir d’une IA plus apte à intégrer de nouveaux apprentissages sans sacrifier automatiquement les précédents.

Il faut toutefois distinguer une promesse de recherche d’une solution déjà généralisée. Les memristors ne constituent pas, à eux seuls, un remède universel à l’oubli catastrophique. Leur intérêt dépend de leur comportement physique, de l’architecture de la puce et des algorithmes utilisés pour entraîner le système.

Une mémoire matérielle qui s’inspire des synapses

Un memristor est un composant électronique dont la résistance électrique dépend des signaux qu’il a reçus par le passé. Son nom provient de l’idée de « résistance à mémoire ». Là où certains composants sont conçus avant tout pour faire circuler ou bloquer un courant, un memristor peut conserver un état, même lorsqu’il n’est plus alimenté. On parle alors de mémoire non volatile.

Cette propriété est particulièrement intéressante pour l’intelligence artificielle. Dans un réseau neuronal artificiel, l’apprentissage repose sur l’ajustement de paramètres appelés poids. Ces valeurs déterminent l’influence d’une information sur une autre, de façon comparable, avec toutes les précautions que cette analogie impose, au renforcement ou à l’affaiblissement d’une synapse biologique.

Dans une approche memristive, la conductance d’un composant peut représenter l’un de ces poids. Une impulsion électrique modifie son état, puis le composant conserve cette modification. Le calcul peut ainsi être rapproché de l’endroit où est stockée l’information, au lieu de multiplier les échanges entre une mémoire séparée et une unité de calcul.

Le concept de memristor a été formalisé en 1971. Des réalisations physiques fondées sur des phénomènes de commutation résistive ont ensuite ravivé l’intérêt pour ce domaine, notamment pour la mémoire et le calcul inspiré du cerveau. Dans l’usage courant, le mot memristor désigne souvent une famille de composants à mémoire résistive, même si leur fonctionnement concret dépend des matériaux et des procédés de fabrication employés.

L’oubli catastrophique, un problème d’apprentissage continu

L’oubli catastrophique apparaît lorsqu’un réseau de neurones est entraîné successivement sur des tâches ou des jeux de données différents. En modifiant ses paramètres pour apprendre la nouveauté, il peut altérer les réglages qui lui permettaient de réussir la tâche précédente. Les performances déjà acquises se dégradent alors rapidement.

Prenons un exemple simple. Un système apprend d’abord à reconnaître un premier ensemble de catégories d’images. S’il est ensuite entraîné sur un autre ensemble, ses paramètres internes évoluent pour s’adapter aux nouvelles données. Sans mécanisme de protection, ces changements peuvent effacer une partie des représentations utiles à la première tâche.

Ce phénomène est particulièrement gênant pour les IA censées fonctionner dans des environnements changeants. Un robot, un véhicule ou un système de santé connectée peut être confronté à des données qui évoluent selon les lieux, les saisons, les utilisateurs ou les équipements. Réentraîner intégralement le modèle à chaque nouveauté est coûteux et parfois impraticable, surtout lorsque l’appareil doit réagir localement et en temps réel.

L’expression « catastrophique » ne signifie pas que la machine s’arrête de fonctionner. Elle décrit la brutalité potentielle de la perte de performances sur une connaissance antérieure. C’est un problème distinct de la mémoire conversationnelle d’un assistant grand public. Ici, il est question des paramètres internes acquis lors de l’entraînement d’un modèle.

Les chercheurs explorent déjà plusieurs réponses logicielles : conserver une partie des anciennes données, pénaliser les modifications trop importantes des paramètres utiles, ou répartir l’apprentissage entre des modules spécialisés. Les memristors ajoutent une dimension matérielle à cette recherche, en cherchant à rendre le stockage et l’évolution des poids plus proches du fonctionnement du calcul lui-même.

Ce que la commutation analogique peut changer

Les avancées mentionnées portent sur des memristors à commutation analogique. Dans un système numérique classique, une mémoire est généralement décrite par des états discrets, par exemple 0 ou 1. Avec une commutation analogique, le composant peut adopter plusieurs niveaux intermédiaires de conductance.

Pour l’IA, cette gradation a du sens : les poids d’un réseau neuronal ne se limitent pas à deux états. Ils doivent souvent être modifiés par petites étapes pour que le modèle s’ajuste aux données. Un composant capable de refléter ces variations de manière stable pourrait donc aider à stocker et mettre à jour ces paramètres directement dans le matériel.

L’intérêt potentiel est double. D’une part, les opérations de calcul peuvent être effectuées au plus près des données, ce qui réduit les transferts incessants entre processeur et mémoire. D’autre part, la conservation locale des états de conductance peut offrir une base matérielle pour préserver certaines connaissances lorsqu’un système apprend de nouvelles informations.

Mais cette perspective doit être formulée avec rigueur. Le fait qu’un memristor garde un état ne garantit pas qu’un réseau neuronal ne souffrira plus d’oubli catastrophique. Le système doit encore déterminer quels paramètres modifier, lesquels préserver et comment répartir les nouveaux apprentissages. Les règles d’entraînement restent donc essentielles.

Du composant à l’architecture neuromorphique

Les memristors prennent tout leur sens lorsqu’ils sont intégrés à une architecture neuromorphique. Ce terme désigne des systèmes électroniques qui s’inspirent de certains principes de l’organisation neuronale : nombreuses unités de calcul simples, connexions pondérées, mémoire distribuée et adaptation locale.

L’objectif n’est pas de reproduire fidèlement le cerveau humain. Le cerveau est infiniment plus complexe qu’une puce, et les comparaisons directes peuvent être trompeuses. L’enjeu est plutôt de tirer parti de quelques idées efficaces de la biologie, notamment le fait que mémoire et traitement de l’information y sont étroitement liés.

Dans une architecture informatique classique, les données circulent souvent entre des zones de mémoire et des unités chargées de les traiter. Cette circulation peut peser sur la consommation d’énergie et sur les délais de réponse, en particulier pour des calculs d’IA massifs. Les architectures neuromorphiques cherchent à limiter ce goulet d’étranglement en rapprochant les opérations de calcul des éléments qui conservent l’information.

Les memristors peuvent jouer ce rôle de lien entre stockage et calcul. Ils peuvent être organisés dans des réseaux de composants où les conductances représentent des poids. Des signaux électriques traversent alors ces réseaux afin de produire les opérations utiles à un réseau neuronal. Cette approche est étudiée pour des tâches où la vitesse de réaction et la sobriété énergétique comptent autant que la puissance brute.

Des usages potentiels, pas encore une généralisation

La capacité d’apprendre tout en conservant des connaissances antérieures intéresse de nombreux domaines. En robotique, un appareil mobile doit pouvoir s’adapter à un environnement nouveau sans perdre les comportements indispensables à sa sécurité. Une mémoire plus persistante et des mises à jour locales des paramètres pourraient rendre cette adaptation plus réaliste.

Les systèmes d’analyse de grandes quantités de données constituent un autre terrain d’application. Lorsqu’un flux d’informations évolue constamment, l’IA doit identifier les changements sans repartir de zéro. Des dispositifs memristifs pourraient, à terme, contribuer à des traitements en temps réel plus réactifs et moins dépendants d’échanges permanents avec une infrastructure distante.

Les perspectives évoquées concernent aussi plusieurs usages grand public ou industriels :

• les jeux vidéo, pour des comportements d’agents plus adaptatifs ;
• les véhicules autonomes, qui doivent interpréter des situations variées avec une faible latence ;
• la santé connectée, où des capteurs peuvent générer des données continues ;
• les systèmes embarqués, pour lesquels l’énergie disponible et l’espace matériel sont limités.

Aucun de ces domaines ne basculera mécaniquement vers les memristors. Les besoins diffèrent fortement selon les usages. Un modèle de langage entraîné dans un centre de données, par exemple, ne pose pas les mêmes contraintes qu’un capteur embarqué qui doit analyser localement un signal. La question centrale est donc moins de savoir si les memristors remplaceront toutes les technologies existantes que d’identifier les tâches pour lesquelles ils offrent un avantage concret.

Les défis qui séparent la promesse du produit

Pour passer du laboratoire à des systèmes largement déployés, les memristors doivent surmonter plusieurs obstacles. Le premier concerne la variabilité. Deux composants fabriqués selon un procédé semblable peuvent ne pas réagir exactement de la même façon aux impulsions électriques. Or l’IA exige des valeurs de poids suffisamment fiables pour produire des résultats cohérents.

La stabilité dans le temps constitue un autre enjeu. Un composant doit conserver l’état programmé, supporter de nombreuses mises à jour et ne pas dériver au point de fausser le calcul. Les mémoires analogiques sont particulièrement exigeantes sur ce plan : disposer de nombreux niveaux intermédiaires est utile, mais les distinguer et les conserver précisément est difficile.

La fabrication pèse également dans l’équation. Un dispositif prometteur en conditions expérimentales doit encore pouvoir être produit à grande échelle, à un coût acceptable et avec un rendement industriel satisfaisant. Il doit aussi s’intégrer aux procédés électroniques existants, aux systèmes de contrôle et aux logiciels d’entraînement.

Enfin, l’algorithme et le composant doivent être conçus ensemble. Les méthodes d’apprentissage utilisées sur des processeurs classiques ne sont pas nécessairement adaptées à un matériel analogique soumis à des imperfections physiques. Il faut donc développer des approches capables de tenir compte des limites du composant, voire d’en exploiter certaines propriétés.

Ce qu’il faut surveiller

Au 21 mars 2025, la piste des memristors illustre un changement de perspective important : améliorer l’IA ne consiste pas seulement à entraîner des modèles plus grands, mais aussi à repenser le matériel qui les fait fonctionner. La lutte contre l’oubli catastrophique pourrait bénéficier de cette rencontre entre électronique, neurosciences computationnelles et apprentissage automatique.

Les avancées les plus significatives seront celles qui démontreront simultanément plusieurs qualités : une mémoire durable, des mises à jour fiables, une faible consommation énergétique et de bonnes performances sur des tâches successives. Il faudra aussi vérifier que les gains observés sur des démonstrateurs se maintiennent dans des systèmes complets, confrontés à des données réelles.

Pour les utilisateurs, l’enjeu à long terme est simple : des IA capables d’apprendre de manière plus continue, sans devoir oublier ce qu’elles ont déjà acquis. Pour les ingénieurs, le chemin reste complexe. Les memristors offrent une piste crédible et stimulante, mais leur efficacité dépendra autant de la qualité des architectures et des algorithmes que du composant lui-même.