Réseaux de neurones : pourquoi les plus petits pourraient apprendre plus sobrement

À mesure que les modèles d’intelligence artificielle gagnent en taille et en usages, une question devient incontournable : comment améliorer leurs capacités sans faire croître indéfiniment l’énergie nécessaire pour les entraîner ? Une partie de la réponse pourrait venir d’un rapprochement prudent avec le cerveau biologique, non pour le reproduire à l’identique, mais pour s’inspirer de sa manière d’apprendre avec des ressources limitées.

Les recherches évoquées en novembre 2024 portent notamment sur l’apprentissage par curriculum, une méthode qui organise les exemples fournis à une machine du plus simple au plus difficile. Leur résultat principal est contre-intuitif : cette stratégie ne semble pas procurer le même bénéfice à tous les réseaux de neurones. Les modèles très riches en paramètres pourraient moins en profiter que des réseaux plus petits, ce qui ouvre une piste pour entraîner certaines IA avec davantage de sobriété.

Pourquoi l’énergie est devenue un sujet central pour l’IA

Un réseau de neurones artificiels apprend en ajustant un très grand nombre de valeurs numériques, appelées paramètres. Pendant l’entraînement, le système reçoit des données, produit une réponse, mesure ses erreurs puis modifie ses paramètres. Cette boucle est répétée un nombre considérable de fois sur des processeurs spécialisés.

Plus un modèle contient de paramètres, plus les jeux de données sont vastes et plus les tâches sont longues, plus le calcul requis augmente. Cette réalité concerne particulièrement l’apprentissage profond, ou deep learning, à l’origine de nombreuses avancées récentes en reconnaissance d’images, traitement du langage et génération de contenus.

L’énergie consommée ne dépend pas uniquement de l’algorithme. Elle résulte aussi des serveurs mobilisés, de la durée des calculs, de l’efficacité des puces et des infrastructures qui les hébergent. La consommation électrique d’un entraînement est donc différente de son empreinte environnementale totale, laquelle dépend aussi de la manière dont l’électricité est produite et des équipements utilisés. Réduire le volume de calcul reste néanmoins un levier direct : moins d’opérations à effectuer peut signifier moins de temps machine et des coûts d’entraînement plus faibles.

C’est dans ce contexte que les neurosciences intéressent les spécialistes de l’IA. Le cerveau humain accomplit des tâches complexes tout en fonctionnant avec une dépense énergétique limitée. Les réseaux artificiels ne sont pas des cerveaux miniatures et ne reposent pas sur les mêmes mécanismes biologiques. Mais le contraste invite à examiner les principes d’apprentissage, d’organisation et d’allocation des ressources qui pourraient inspirer des systèmes plus efficaces.

L’apprentissage par curriculum, une progression du simple au complexe

L’apprentissage par curriculum reprend une idée familière dans l’éducation : il peut être plus facile d’acquérir une compétence en commençant par les notions élémentaires, avant d’aborder les cas les plus difficiles. Transposée à l’IA, la méthode consiste à ordonner les données d’entraînement selon leur difficulté supposée.

Au lieu de présenter d’emblée au modèle l’ensemble des exemples disponibles, les chercheurs peuvent d’abord lui soumettre les plus simples. Une fois certaines régularités assimilées, le réseau est exposé à des exemples plus ambigus, plus variés ou plus complexes. En théorie, cette progression peut guider l’apprentissage et faciliter la construction de représentations utiles.

Cette logique est séduisante, car elle semble proche de certaines pratiques humaines d’apprentissage. Elle ne garantit toutefois pas automatiquement qu’un modèle apprendra mieux, plus vite ou avec moins d’énergie. L’effet dépend de la nature des données, de la tâche demandée, de l’architecture retenue et, comme le soulignent les travaux cités, de la taille même du réseau.

Pourquoi les réseaux surparamétrés ne réagissent pas toujours comme prévu

Les réseaux dits surparamétrés disposent d’un nombre de paramètres très élevé au regard de la tâche qu’ils doivent résoudre. Cette abondance constitue l’une des caractéristiques marquantes de l’apprentissage profond contemporain. Elle peut permettre à un modèle de représenter des relations très complexes dans les données, mais elle change aussi sa façon d’apprendre.

Les recherches récentes mentionnées dans la publication d’origine indiquent que l’apprentissage par curriculum ne bénéficie pas nécessairement à ces réseaux très grands. Dans le cadre étudié, les connexions et les solutions apprises semblent davantage dépendre de l’abondance des paramètres disponibles que de la qualité ou de l’ordre des exemples présentés.

Il faut comprendre ce résultat avec précision. Il ne signifie pas que les données n’ont plus d’importance pour les grands modèles, ni que tous les systèmes surparamétrés sont inefficaces. Les données restent indispensables à l’apprentissage, tout comme leur diversité, leur fiabilité et leur adéquation à la tâche. Le point soulevé est plus spécifique : lorsqu’un réseau possède une capacité très importante, la progression soigneusement organisée des exercices peut avoir moins d’influence que dans un système contraint par des ressources plus limitées.

Autrement dit, un modèle très vaste peut disposer de suffisamment de paramètres pour trouver ses propres chemins d’ajustement, même sans parcours pédagogique très structuré. Mais cette souplesse a un coût : elle peut encourager le recours à des architectures de plus en plus lourdes, alors même que l’énergie de calcul devient une contrainte majeure.

Des réseaux plus petits pour redonner du poids à la progression

La piste mise en avant par ces travaux consiste à s’intéresser à la taille initiale du réseau. Les résultats expérimentaux suggèrent qu’en commençant avec des réseaux plus petits, l’effet de l’apprentissage par curriculum devient plus visible. Un système moins riche en paramètres ne peut pas exploiter aussi facilement une réserve de capacité très vaste. Il doit donc davantage tirer parti de la structure des exemples qui lui sont présentés.

Luca Saglietti, de l’Université Bocconi, estime que cette orientation pourrait réduire les besoins énergétiques des systèmes d’IA tout en maintenant leurs performances. L’idée n’est pas de réduire indistinctement tous les modèles, au risque de les rendre incapables de remplir leur mission. Il s’agit plutôt de choisir une taille de réseau cohérente avec la tâche, puis de concevoir un entraînement qui utilise au mieux cette capacité.

Cette approche ramène une question essentielle au centre de la conception des IA : quelle quantité de ressources est réellement nécessaire pour atteindre un niveau de performance donné ? Pendant longtemps, l’augmentation de la taille des modèles a constitué une voie très efficace pour obtenir de meilleurs résultats. Les travaux sur l’efficacité énergétique invitent à compléter cette logique par une autre : mieux organiser l’apprentissage avant d’augmenter les moyens de calcul.

Ce que cette piste peut changer, et ce qu’elle ne promet pas encore

Si une méthode d’entraînement permet d’obtenir un résultat comparable avec un réseau plus petit ou moins d’itérations de calcul, les bénéfices potentiels sont multiples. Les laboratoires et les entreprises peuvent réduire leurs dépenses informatiques. Des équipes disposant de moyens limités peuvent aussi accéder plus facilement à l’expérimentation. Enfin, une diminution du calcul requis contribue à limiter la pression exercée par l’essor de l’IA sur les infrastructures énergétiques.

Les effets pourraient concerner de nombreux usages, des outils de santé aux applications environnementales, en passant par les assistants conversationnels. Les modèles employés par des systèmes comme ChatGPT illustrent l’ampleur du sujet : lorsque l’IA est déployée à grande échelle, les choix effectués au stade de la conception et de l’entraînement prennent une dimension économique et environnementale importante.

Il serait toutefois prématuré de présenter l’apprentissage par curriculum sur de petits réseaux comme une solution universelle. Les résultats rapportés portent sur une direction de recherche précise. Un modèle doit toujours être évalué selon la tâche qu’il accomplit : précision, robustesse, capacité à traiter des cas nouveaux, temps d’entraînement et coût de fonctionnement ne se résument pas à une seule mesure.

Par ailleurs, l’entraînement n’est qu’une partie du problème. Une IA peut être entraînée une fois, puis utilisée par un très grand nombre de personnes. Dans ce cas, l’énergie consommée lors de chaque requête, appelée inférence, devient elle aussi déterminante. Une stratégie réellement sobre doit donc examiner l’ensemble du cycle de vie du modèle.

L’inspiration du cerveau a des limites utiles

Le cerveau biologique est un point de comparaison stimulant, mais il ne doit pas être transformé en modèle simpliste. Ses neurones, ses synapses, ses mécanismes chimiques et son apprentissage continu diffèrent profondément des réseaux de neurones artificiels exécutés sur des machines numériques. Les deux systèmes n’utilisent ni les mêmes composants, ni les mêmes règles de calcul, ni les mêmes formes de mémoire.

Cette différence ne rend pas l’inspiration biologique inutile. Elle encourage au contraire des questions fécondes : un système peut-il apprendre avec moins d’exemples ? Peut-il concentrer ses ressources sur les informations les plus pertinentes ? Peut-il adapter sa complexité à la difficulté rencontrée plutôt que de mobiliser en permanence toute sa capacité ?

Les chercheurs explorent aussi d’autres voies complémentaires, notamment de nouvelles architectures de réseaux, des algorithmes de deep learning plus efficaces et des réseaux analogiques. Ces derniers cherchent à réaliser certains calculs d’une façon différente des processeurs numériques conventionnels. À ce stade, aucune de ces pistes ne dispense d’évaluer concrètement les compromis entre précision, consommation, fiabilité et facilité de déploiement.

Ce qu’il faut surveiller

La question décisive sera de savoir dans quelles conditions la réduction de la taille initiale d’un réseau améliore réellement son bilan. Les futurs travaux devront vérifier si le gain observé se maintient selon les types de données, les architectures et les problèmes à résoudre. Ils devront aussi distinguer avec soin une baisse du nombre d’opérations informatiques d’une baisse mesurable de l’électricité consommée en conditions réelles.

L’enjeu dépasse la seule performance technique. À mesure que les usages de l’IA s’élargissent, concevoir des modèles capables de faire mieux avec moins devient un critère de qualité à part entière. L’apprentissage par curriculum et les réseaux de taille mieux ajustée ne constituent peut-être qu’une pièce du puzzle, mais ils rappellent une évidence souvent négligée : en intelligence artificielle, la manière d’apprendre compte autant que la puissance brute mobilisée.