Deep learning : une hypothèse du MIT pour expliquer les représentations neuronales

Lorsqu’un réseau neuronal reconnaît un chat sur une image, traduit une phrase ou classe un document, il ne manipule pas les données brutes telles que nous les percevons. Au fil de ses couches, il les transforme en suites de nombres qui mettent en avant certains motifs et en écartent d’autres. Comprendre cette organisation interne est l’un des grands défis du deep learning : elle pourrait aider à concevoir des modèles à la fois plus efficaces, plus fiables et moins opaques.

Dans une prépublication rendue accessible sur arXiv, une équipe du laboratoire CSAIL du Massachusetts Institute of Technology, ou MIT, propose un cadre théorique pour éclairer ce mécanisme. Autour de Tomaso Poggio, avec notamment Liu Ziyin, les auteurs défendent l’idée que plusieurs objets mathématiques essentiels au fonctionnement d’un réseau, les représentations, les poids et les gradients, évoluent de manière beaucoup plus coordonnée qu’on ne le supposait.

Leur proposition ne prétend pas résoudre à elle seule tous les mystères de l’apprentissage profond. Elle cherche plutôt à faire émerger une explication commune pour plusieurs observations récurrentes dans les réseaux neuronaux modernes, de la formation de caractéristiques internes à certains comportements géométriques observés en fin d’entraînement.

Ce qu’un réseau neuronal appelle une représentation

Une représentation est la forme numérique qu’une donnée prend à l’intérieur d’un modèle. Une photo, par exemple, peut être convertie progressivement en vecteurs, c’est-à-dire en listes de nombres. Les premières couches d’un réseau peuvent isoler des éléments simples, comme des contours ou des textures. Les couches suivantes combinent ces signaux pour distinguer des formes, des objets ou des catégories plus abstraites.

On parle souvent de représentation « latente », car elle n’est pas directement visible ni écrite à la main par les concepteurs du modèle. Elle est apprise à partir des exemples fournis lors de l’entraînement. C’est précisément cette propriété qui fait la puissance des réseaux neuronaux, mais aussi leur part d’opacité : deux modèles accomplissant une même tâche peuvent construire des organisations internes différentes.

Dans la pratique, l’entraînement modifie des millions, voire bien davantage, de poids afin de réduire les erreurs du modèle. Les gradients servent à calculer ces modifications. Or, la question étudiée par l’équipe du MIT est la suivante : existe-t-il une structure générale reliant les données encodées par le réseau, ses paramètres et les signaux qui orientent ses corrections ?

L’hypothèse de représentation canonique, un alignement interne

La première proposition de l’équipe est baptisée hypothèse de représentation canonique, ou CRH pour Canonical Representation Hypothesis. Selon ce cadre, les réseaux neuronaux tendraient naturellement, pendant l’apprentissage, à aligner leurs représentations latentes, leurs poids et leurs gradients.

Le mot « alignement » renvoie ici à une relation géométrique et mathématique, pas à un simple rapprochement visuel. Dans un espace de très grande dimension, les directions associées aux représentations apprises, aux paramètres du réseau et aux corrections indiquées par les gradients pourraient adopter une organisation cohérente. Le modèle ne ferait donc pas que mémoriser des exemples un à un : il formerait une structure interne plus compacte, adaptée à la tâche demandée.

Cette idée est importante parce que le deep learning reste largement empirique. On sait entraîner des réseaux remarquablement performants, mais prédire précisément leur comportement à partir de leurs équations demeure difficile. Une hypothèse capable de relier plusieurs régularités observées offrirait un langage commun pour analyser les modèles au lieu de traiter chaque phénomène comme un cas isolé.

Les auteurs rapportent des résultats expérimentaux sur plusieurs types de tâches, dont la classification d’images et l’apprentissage auto-supervisé. Ces essais visent à vérifier si l’alignement décrit par la CRH apparaît au-delà d’une seule architecture ou d’un seul jeu de données.

Quand l’alignement canonique se rompt

Les chercheurs ne soutiennent pas que la CRH décrit toutes les étapes de tous les entraînements. Ils introduisent donc une seconde proposition, l’hypothèse d’alignement polynomial, ou PAH pour Polynomial Alignment Hypothesis.

La PAH concerne les situations où l’alignement canonique ne se maintient pas. Dans ces phases, les représentations, les poids et les gradients suivraient encore des relations structurées entre eux, mais celles-ci pourraient être décrites comme des fonctions polynomiales. Autrement dit, la rupture d’un comportement simple ne signifierait pas nécessairement un passage au désordre complet : une autre forme de régularité pourrait prendre le relais.

Cette nuance est centrale. Les réseaux neuronaux changent tout au long de leur entraînement. Au début, ils cherchent des régularités grossières. Plus tard, leurs couches peuvent organiser les exemples d’une manière beaucoup plus fine. Une théorie utile doit donc pouvoir prendre en compte des régimes distincts, plutôt que de postuler une seule dynamique valable du premier au dernier calcul.

Les auteurs estiment que ces deux hypothèses peuvent apporter un éclairage commun sur plusieurs phénomènes importants du deep learning, notamment l’effondrement neural, souvent désigné par l’expression anglaise neural collapse, ainsi que l’ansatz de caractéristiques neuronales, ou NFA. L’effondrement neural décrit, dans certains contextes d’apprentissage supervisé, une géométrie particulière des représentations de classes vers la fin de l’entraînement. Le NFA est pour sa part un cadre de description des caractéristiques que le réseau apprend.

Pourquoi cette théorie pourrait intéresser les concepteurs de modèles

L’intérêt d’une théorie des représentations n’est pas seulement conceptuel. Si l’on comprend mieux comment les représentations émergent et se transforment, il devient envisageable de guider leur formation au lieu de la subir.

L’équipe évoque notamment une piste : injecter manuellement du bruit dans les gradients. En termes simples, il s’agirait d’ajouter des perturbations contrôlées aux signaux qui servent à mettre à jour les poids du réseau. D’après les auteurs, cela pourrait permettre d’ingénier certaines structures dans les représentations internes des modèles.

Cette idée doit toutefois être lue avec prudence. Le bruit est déjà un élément familier de nombreuses méthodes d’apprentissage, notamment parce qu’il peut empêcher un modèle de se caler trop étroitement sur ses données d’entraînement. Mais une perturbation mal choisie peut aussi ralentir l’apprentissage ou dégrader les résultats. La promesse n’est donc pas de rendre tout modèle meilleur en ajoutant de l’aléa, mais de déterminer si un bruit précisément contrôlé peut infléchir l’organisation géométrique apprise par le réseau.

À terme, une telle compréhension pourrait avoir plusieurs usages :

• mieux diagnostiquer pourquoi un modèle échoue sur certaines données ;
• concevoir des réseaux plus économes en calcul ou en paramètres ;
• comparer plus précisément deux modèles qui semblent donner des résultats similaires ;
• rendre certaines décisions internes plus faciles à analyser pour les chercheurs.

L’interprétabilité reste ici un objectif à long terme. Savoir qu’un alignement existe ne suffit pas encore à expliquer, exemple par exemple, la décision d’un système d’IA. En revanche, disposer de propriétés mesurables et de relations théoriques est une étape utile pour sortir de l’analyse purement intuitive de réseaux très complexes.

Des rapprochements possibles avec les neurosciences

Les travaux s’intéressent également à un possible lien avec les neurosciences. Liu Ziyin, co-auteur de l’étude et postdoctorant au CSAIL, souligne que la CRH pourrait éclairer certains phénomènes observés dans le cerveau.

Les auteurs évoquent notamment l’orthogonalisation des représentations. Deux représentations orthogonales correspondent, dans une image géométrique simplifiée, à des directions indépendantes. Les rendre plus distinctes peut aider à séparer des informations différentes et limiter leurs interférences. Des études récentes sur le cerveau ont également observé des phénomènes de ce type, que l’équipe rapproche de ses hypothèses.

Il faut éviter d’en déduire que les réseaux neuronaux reproduisent le fonctionnement du cerveau. Les architectures artificielles et les systèmes biologiques diffèrent profondément par leur structure, leur mode d’apprentissage et leur consommation d’énergie. Le parallèle est plutôt méthodologique : la géométrie des représentations peut offrir un terrain de dialogue entre apprentissage automatique et étude des systèmes neuronaux biologiques.

Une prépublication, des résultats à consolider

Les résultats ont été publiés sur arXiv, un serveur de prépublications qui permet aux chercheurs de diffuser rapidement leurs travaux. Ce mode de publication favorise la discussion scientifique, mais il invite aussi à distinguer une hypothèse prometteuse d’une théorie définitivement établie.

La robustesse de la CRH et de la PAH dépendra notamment de leur capacité à se retrouver dans des architectures, des volumes de données et des tâches très différents. Les modèles étudiés en vision par ordinateur ou en apprentissage auto-supervisé ne couvrent pas tous les usages du deep learning. Il restera à déterminer dans quelles conditions chaque phase apparaît, comment elle se mesure, et si elle peut réellement être exploitée pour améliorer l’entraînement.

Les auteurs indiquent vouloir présenter ces recherches à la Conférence internationale sur les représentations d’apprentissage, ICLR 2025, prévue à Singapour. Cette conférence constitue un lieu important pour confronter les méthodes, les expériences et les interprétations proposées dans le domaine de l’apprentissage automatique.

Ce qu’il faut surveiller après ICLR 2025

L’enjeu principal sera de voir si ces hypothèses résistent à l’examen d’autres équipes. Une théorie unificatrice doit produire des prédictions vérifiables : elle doit dire non seulement ce qui a été observé, mais aussi dans quel cas l’alignement doit apparaître, disparaître ou changer de forme.

Il faudra aussi mesurer son utilité pratique. Si la CRH et la PAH permettent de réduire le coût d’entraînement, de rendre les modèles plus stables ou de mieux orienter la formation de leurs caractéristiques, elles pourraient dépasser le cadre d’une description mathématique élégante. À l’inverse, si elles ne s’appliquent qu’à des configurations restreintes, leur portée restera plus limitée, mais elles pourraient tout de même enrichir la compréhension de phénomènes précis comme l’effondrement neural.

Au 4 avril 2025, le mérite de ces travaux est surtout de reformuler une question décisive : comment un réseau apprend-il à organiser le monde sous forme de représentations numériques utiles ? Répondre à cette question est une condition essentielle pour bâtir des systèmes d’IA non seulement performants, mais aussi mieux compris par celles et ceux qui les conçoivent et les utilisent.