Vision neuromorphique : Pékin réunit détection et calcul dans un même dispositif

Regarder une scène et en comprendre le contenu paraît instantané pour un humain. Pour une machine, le trajet est souvent beaucoup plus long : un capteur capture la lumière, transmet ses données vers une mémoire, puis un processeur exécute les calculs d’intelligence artificielle. À chaque étape, des informations circulent, ce qui consomme de l’énergie et ajoute du délai. Des ingénieurs de l’Université de Pékin proposent de raccourcir ce parcours en réunissant la perception et une partie du calcul dans un même dispositif.

Présentée dans Nature Electronics, leur plateforme reconfigurable, baptisée MP1R, combine un réseau de phototransistors et des memristors. L’ambition est celle de la vision neuromorphique : concevoir des composants électroniques dont l’organisation s’inspire, de façon très partielle, du fonctionnement des systèmes nerveux, afin de traiter les signaux visuels au plus près de leur point de capture. L’intérêt ne tient pas à une promesse de machine « consciente », mais à une modification concrète de l’architecture matérielle de l’IA.

Pourquoi les systèmes de vision classiques atteignent-ils leurs limites ?

La majorité des appareils de vision numérique reposent sur une chaîne de traitement séparant plusieurs fonctions. Le capteur d’image, les unités de mémoire et le processeur ont des rôles distincts. Cette logique est compatible avec l’architecture dite de von Neumann, dans laquelle le calculateur doit échanger sans cesse des données avec sa mémoire.

Dans un téléphone, une caméra de sécurité ou un robot, cette séparation n’empêche pas de faire fonctionner des algorithmes de vision performants. Mais elle devient coûteuse lorsque les données arrivent en grand volume ou doivent être interprétées très vite. Une image est constituée d’un grand nombre de pixels. Une vidéo ajoute une succession continue d’images. Avant même qu’un modèle ne prenne une décision, ces données peuvent devoir être déplacées et stockées à plusieurs reprises.

Ce goulot d’étranglement est fréquemment désigné comme le problème du transfert entre mémoire et processeur. Il ne signifie pas que les processeurs actuels seraient incapables de traiter des images, mais qu’une part importante du temps et de l’énergie peut être consacrée au déplacement de l’information plutôt qu’au calcul utile.

MP1R, une plateforme qui associe perception et traitement

L’équipe dirigée par Yuchao Yang a conçu MP1R comme une plateforme de calcul neuromorphique reconfigurable. Le terme « reconfigurable » est important : il indique que le matériel ne se limite pas à une unique opération figée. Le dispositif peut prendre en charge différents modes d’encodage et se prêter à plusieurs familles de réseaux neuronaux.

Au cœur de l’appareil se trouve un réseau de 20 × 20 phototransistors. Un phototransistor est un composant sensible à la lumière : l’éclairement reçu modifie sa réponse électrique. Dans cette réalisation, le réseau est capable de détecter la lumière et de moduler sa réponse en fonction des longueurs d’onde. Cette propriété est utile pour manipuler de l’information visuelle comprenant une dimension de couleur, et non seulement des contrastes en noir et blanc.

Les ingénieurs ont fabriqué ces composants à partir de transistors à couche mince, au moyen d’un procédé compatible avec l’oxyde de silicium. Ils ont notamment réalisé des phototransistors à arrière grille, une configuration où l’électrode de commande est placée sous la couche active du transistor. Ce choix relève de la fabrication électronique, mais son enjeu est très pratique : obtenir une matrice de détection qui puisse être intégrée à une plateforme de calcul.

La plateforme ne se contente donc pas de collecter une image avant de l’envoyer telle quelle à une puce extérieure. Elle vise à transformer les réponses des phototransistors en données exploitables pour le calcul dès la phase de détection.

Quel rôle jouent les memristors dans ce dispositif ?

L’autre composant central de MP1R est le memristor de type Mott. Un memristor est un dispositif électronique dont la résistance électrique varie en fonction de son état. Cette capacité à faire évoluer sa conductance est particulièrement intéressante pour reproduire certaines opérations associées aux réseaux neuronaux artificiels : pondérer un signal, le transmettre ou le modifier selon un état précédent.

Les memristors employés dans la plateforme possèdent une région résistive linéaire, une mémoire volatile et des capacités de commutation. Une mémoire dite volatile ne conserve pas nécessairement son état lorsque les conditions de fonctionnement cessent, à la différence d’une mémoire de stockage permanente. Dans le contexte neuromorphique, ces propriétés peuvent servir à mimer des comportements électroniques différents, proches par analogie de fonctions synaptiques ou neuronales.

MP1R est ainsi pensée pour gérer plusieurs formes d’encodage :

• un encodage analogique, où l’information est représentée par une valeur électrique continue ;
• un encodage fondé sur des pics, ou impulsions, qui se rapproche du mode de communication des neurones biologiques ;
• des opérations adaptées à des modèles de réseaux neuronaux aux besoins distincts.

Les dispositifs reposent sur une structure Ta/TaOx/NbOx/W. Les travaux mettent en avant une faible variabilité des memristors, une qualité essentielle pour tout matériel de calcul. Si deux composants censés produire la même réponse se comportent de manière trop différente, la précision et la fiabilité d’un système d’IA peuvent en pâtir. La reproductibilité est donc aussi importante que la capacité à effectuer une opération originale.

Des usages visés allant de l’image fixe à la vision en temps réel

Les résultats présentés portent sur des tâches de reconnaissance d’images statiques et sur des analyses d’images colorées. L’intégration de la détection et du calcul doit aussi permettre un traitement en temps réel, en limitant les étapes intermédiaires nécessaires entre la lumière reçue et le résultat informatique.

La polyvalence revendiquée par l’équipe concerne plusieurs architectures de réseaux neuronaux. Les réseaux neuronaux convolutifs, ou CNN, sont largement utilisés pour extraire des motifs dans les images. Les réseaux neuronaux récurrents, ou RNN, sont conçus pour prendre en compte une succession de données. Les réseaux neuronaux à pointes, ou SNN, utilisent quant à eux des impulsions et constituent une piste majeure de la recherche neuromorphique.

Cette compatibilité ne signifie pas qu’un même appareil remplacerait immédiatement toutes les puces spécialisées pour l’IA. Elle montre plutôt que la plateforme est conçue pour ne pas être enfermée dans un unique schéma de calcul. C’est précisément le sens de son caractère reconfigurable : adapter le traitement matériel à la nature de la tâche visuelle.

Ce que change l’intégration entre capteur et calcul

Le principal intérêt de cette approche réside dans le rapprochement physique des deux fonctions. Lorsqu’un système de vision réalise des prétraitements directement au niveau de son capteur, il peut éviter de transmettre l’intégralité des données brutes vers un processeur distant. Pour des applications qui imposent une faible latence, cet aspect est particulièrement recherché.

On peut imaginer l’intérêt de ce type de principe dans des systèmes de vision embarqués, où l’espace disponible et l’énergie sont limités. Il peut aussi concerner des équipements devant réagir à un flux visuel sans attendre qu’une infrastructure externe effectue les calculs. Dans tous les cas, le gain dépendrait de l’algorithme exécuté, de la qualité nécessaire pour l’image et de la manière dont le système complet est intégré.

La recherche de Pékin s’inscrit donc dans une tendance plus large : déplacer une partie de l’intelligence au plus près des capteurs. Cette stratégie est souvent appelée calcul en mémoire ou calcul au capteur selon la place exacte où se déroule l’opération. Elle diffère des grands centres de données, qui concentrent d’immenses capacités de calcul pour analyser des informations transmises depuis de nombreux appareils.

Les obstacles avant une vision neuromorphique à grande échelle

Le réseau de MP1R compte 20 × 20 phototransistors, soit 400 éléments de détection. Cette démonstration permet d’évaluer le principe de l’intégration, mais le passage à des matrices beaucoup plus grandes constitue un défi distinct. Un système de vision destiné à des usages exigeants doit préserver la qualité de réponse de chaque élément tout en gardant des coûts et une consommation maîtrisés.

L’équipe identifie elle-même plusieurs axes de progrès. L’optimisation de la consommation énergétique reste centrale, car l’intérêt d’un calcul au plus près du capteur dépend de son efficacité réelle à l’échelle de l’ensemble du dispositif. La sensibilité aux variations d’éclairage est un autre point crucial : un système visuel utile doit conserver un comportement fiable lorsque la luminosité de la scène change.

La gestion de la chaleur, la miniaturisation, l’uniformité de fabrication et l’adaptation à divers algorithmes font également partie des difficultés générales de ce domaine. Un composant novateur en laboratoire doit pouvoir être produit de façon répétable, connecté à des circuits existants et testé dans des conditions variées avant de trouver une application industrielle.

Ce qu’il faut surveiller

En décembre 2024, MP1R représente avant tout une démonstration de plateforme : elle associe dans un même dispositif un réseau de phototransistors, des memristors et des modes de calcul compatibles avec plusieurs réseaux neuronaux. Son apport est de proposer une réponse matérielle à un problème bien identifié de la vision artificielle, celui du coût des échanges entre détection, mémoire et traitement.

Les prochaines avancées devront montrer dans quelle mesure cette intégration reste efficace lorsque le nombre de capteurs augmente, que les environnements lumineux deviennent moins prévisibles et que les tâches d’IA gagnent en complexité. Il faudra aussi comparer précisément les besoins énergétiques, la vitesse et la fiabilité du système à ceux des solutions conventionnelles.

Si ces obstacles sont levés, les plateformes reconfigurables de ce type pourraient contribuer à des systèmes de vision plus compacts et plus réactifs. Elles illustrent surtout une évolution de fond du matériel d’intelligence artificielle : l’innovation ne se joue pas seulement dans les logiciels et les modèles, mais aussi dans la manière dont une machine capte, conserve et calcule l’information.