Une méthode du MIT pour optimiser les systèmes d’IA coordonnés complexes

Les performances de l’intelligence artificielle ne se jouent pas uniquement dans la conception d’un modèle. Une fois un algorithme imaginé, il faut encore le faire tourner sur des machines réelles, répartir les calculs, déplacer les données, gérer la mémoire et limiter la dépense énergétique. Dans les systèmes les plus ambitieux, ces choix sont étroitement liés : améliorer un point peut déplacer le problème ailleurs.

Des chercheurs du Massachusetts Institute of Technology, le MIT, proposent de mieux aborder cette difficulté grâce à une méthode visuelle et mathématique. Publiés dans Transactions of Machine Learning Research, leurs travaux décrivent un langage de diagrammes destiné à représenter les systèmes coordonnés complexes, puis à identifier plus méthodiquement les pistes d’optimisation. L’idée est aussi simple à formuler qu’exigeante à mettre en œuvre : rendre visibles les liens entre toutes les briques d’un système pour ne plus optimiser chacune d’elles isolément.

Pourquoi l’optimisation des systèmes d’IA est-elle si difficile ?

Un système coordonné rassemble plusieurs éléments qui doivent fonctionner ensemble : des logiciels, des processeurs, de la mémoire, des réseaux de communication et parfois des dispositifs physiques. Dans un réseau de transport urbain, par exemple, les véhicules, les horaires et les infrastructures doivent être synchronisés. En robotique, les capteurs, les calculateurs et les actionneurs doivent réagir dans le bon ordre et au bon moment.

Les modèles d’apprentissage profond posent une version informatique de ce problème. Ces modèles reposent notamment sur des multiplications de matrices, des opérations mathématiques qui peuvent être exécutées massivement en parallèle. C’est l’une des raisons pour lesquelles les unités de traitement graphique, ou GPU, sont devenues centrales pour l’IA : elles sont conçues pour réaliser de nombreux calculs similaires simultanément.

Mais cette puissance ne résout pas tout. Les grands modèles comportent souvent des milliards de paramètres, c’est-à-dire de très nombreuses valeurs ajustées pendant l’entraînement et mobilisées lors de l’utilisation. Les stocker, les lire, les échanger entre composants et les traiter exige des ressources considérables. Un programme peut être théoriquement performant tout en étant ralenti, sur une machine donnée, par des transferts de données ou un manque de mémoire disponible.

L’enjeu est donc moins de trouver « le meilleur » algorithme dans l’absolu que de concevoir une combinaison cohérente entre une méthode de calcul et les contraintes de l’infrastructure qui l’exécute.

Le MIT propose un langage graphique fondé sur la théorie des catégories

Cette approche a été développée par Vincent Abbott, doctorant, et Gioele Zardini, professeur au Laboratoire pour les systèmes d’information et de décision, le LIDS, du MIT. Leur objectif est de fournir ce que les chercheurs décrivent comme un « langage » graphique pour discuter de systèmes complexes.

Sa base théorique est la théorie des catégories, un domaine des mathématiques qui s’intéresse moins à la nature interne des objets qu’aux relations et aux transformations qui les relient. Présentée ainsi, la formule peut paraître abstraite. Son intérêt pratique est pourtant facile à saisir : lorsqu’un problème comporte beaucoup de composants et d’interactions, décrire explicitement les relations peut être plus utile que d’examiner chaque composant séparément.

Les diagrammes proposés par l’équipe s’apparentent à des représentations où les éléments d’un système et leurs connexions sont dessinés. Gioele Zardini les qualifie de « diagrammes de cordes amplifiés », car ils enrichissent des conventions graphiques existantes pour pouvoir représenter davantage de structures et de contraintes.

Dans ce cadre, un diagramme ne sert pas seulement à illustrer un système après coup. Il devient une manière de le formuler. En représentant les opérations, leurs dépendances et les ressources nécessaires, les chercheurs cherchent à faire émerger les conséquences d’un choix de conception : si une étape est déplacée, parallélisée ou réorganisée, qu’arrive-t-il aux données, à la mémoire, au matériel et à l’énergie ?

Des schémas pour relier logiciel, GPU et consommation d’énergie

La force revendiquée de la méthode est de réunir dans une même représentation ce qui est souvent traité dans des outils ou des spécialités distinctes. Les concepteurs d’algorithmes s’intéressent à la logique des calculs. Les spécialistes du matériel se concentrent davantage sur l’architecture des processeurs, de la mémoire ou des interconnexions. Or, ces deux niveaux se conditionnent mutuellement.

Un choix logiciel peut exiger davantage de mémoire. Une limite matérielle peut imposer une autre manière de découper un calcul. Une organisation conçue pour aller plus vite peut aussi changer la consommation d’énergie. Le langage graphique développé au MIT vise précisément à clarifier ces interdépendances.

L’objectif est la co-conception matériel-logiciel. Autrement dit, plutôt que d’écrire d’abord un programme puis de tenter de l’adapter au matériel disponible, il s’agit de réfléchir aux deux dimensions de concert. Cette approche est particulièrement importante pour les algorithmes d’apprentissage profond, dont l’exécution dépend fortement des capacités et de l’organisation des GPU.

Les diagrammes permettent ainsi de décomposer un système coordonné sans perdre de vue ses connexions. Ils donnent un cadre pour identifier les endroits où une ressource est sollicitée, où une communication est nécessaire ou où une modification locale risque d’entraîner un coût global.

Sortir d’une optimisation fondée uniquement sur l’essai et l’erreur

Dans de nombreux projets, optimiser un programme reste un processus très empirique. Une équipe modifie une partie du code, mesure le résultat, puis recommence. Cette démarche est indispensable, car les performances réelles doivent toujours être vérifiées sur des machines et des charges de travail concrètes. Mais elle peut être longue, surtout lorsque le nombre de paramètres techniques est élevé.

La méthode du MIT ne prétend pas supprimer toute expérimentation. Elle cherche plutôt à lui donner une structure plus formelle. Si les interactions essentielles sont décrites dans un langage cohérent, certaines améliorations pourraient être dérivées de la formulation elle-même, au lieu d’être découvertes seulement après une succession de tests.

Cette recherche s’inscrit dans une préoccupation devenue centrale dans l’IA : faire mieux avec les ressources disponibles. Les avancées récentes de l’apprentissage profond ne tiennent pas seulement à l’augmentation de la puissance de calcul ou de la taille des modèles. Elles reposent également sur des gains d’efficacité dans la manière d’utiliser les machines.

L’exemple de DeepSeek illustre, dans le contexte évoqué par les chercheurs, l’importance stratégique de cette efficacité : une équipe de taille limitée peut chercher à rivaliser avec de grands laboratoires en accordant une attention particulière aux ressources de calcul. L’intérêt d’un cadre d’optimisation est donc autant scientifique qu’industriel. Mieux employer le matériel peut accélérer les expérimentations, diminuer leurs coûts et élargir l’accès à certaines recherches.

Vers un logiciel qui suggère des améliorations ?

L’une des perspectives les plus concrètes évoquées par Gioele Zardini est celle d’un logiciel dans lequel les chercheurs déposeraient leur code pour recevoir rapidement des indications sur les améliorations envisageables. Une telle ambition reste une perspective, et non l’annonce d’un produit prêt à l’emploi.

Pour y parvenir, un outil devrait traduire le fonctionnement d’un programme et de son environnement d’exécution dans les représentations formelles proposées. Il devrait ensuite être capable d’identifier des transformations pertinentes sans dégrader le résultat attendu. C’est une tâche complexe : accélérer un calcul n’a de valeur que si le système conserve son comportement et, dans le cas d’un modèle d’IA, la qualité recherchée.

Le potentiel est néanmoins considérable. Un tel logiciel pourrait aider les équipes à détecter plus tôt des incohérences entre leur algorithme et le matériel ciblé. Il pourrait également faciliter la comparaison entre plusieurs choix d’architecture, en montrant ce qu’ils impliquent pour la mémoire, les communications ou l’énergie.

Cela ne rendrait pas les ingénieurs inutiles. Les diagrammes et les outils d’analyse restent dépendants des hypothèses introduites dans le modèle. Ils offriraient plutôt un moyen de concentrer le travail humain sur les arbitrages les plus importants : choisir les bonnes contraintes, vérifier les résultats et décider des priorités entre coût, vitesse, précision et sobriété énergétique.

Quels systèmes pourraient en bénéficier au-delà de l’IA ?

Bien que l’apprentissage profond soit un terrain d’application majeur, les auteurs inscrivent leur méthode dans un champ plus vaste. Les systèmes complexes coordonnés sont présents dans de nombreux domaines : réseaux de transport, robots autonomes, logistique ou infrastructures informatiques distribuées.

Dans chacun de ces cas, la difficulté récurrente est la même. Il ne suffit pas que chaque élément soit efficace individuellement. L’ensemble doit fonctionner de façon compatible. Un robot peut disposer de bons capteurs et d’un bon algorithme de décision, mais rester inefficace si les informations arrivent trop tard ou si le calcul ne respecte pas les contraintes de la machine embarquée. Un réseau de transport peut avoir des véhicules performants, mais produire un service médiocre si les horaires et les flux ne sont pas coordonnés.

Le langage visuel présenté par les chercheurs entend fournir une grammaire commune pour décrire ce type de situations. Son intérêt potentiel est de faciliter le dialogue entre personnes qui n’emploient pas toujours les mêmes outils : spécialistes des algorithmes, ingénieurs matériel, chercheurs en robotique ou responsables d’infrastructures.

Un accueil attentif dans la communauté scientifique

Les travaux ont suscité des retours favorables de spécialistes cités autour de cette publication. Jeremy Howard, fondateur d’Answers.ai, a souligné l’importance d’une approche capable d’analyser les performances des algorithmes d’apprentissage sur du matériel réel. Cet aspect est essentiel : une optimisation n’a pas de portée pratique si elle ne tient pas compte des contraintes concrètes de l’exécution.

Petar Velickovic, de Google DeepMind, a pour sa part relevé l’accessibilité de cette recherche pour des lecteurs non initiés. C’est un point notable pour un sujet fondé sur une théorie mathématique réputée abstraite. Les diagrammes ne remplacent pas la rigueur formelle, mais ils peuvent rendre une structure complexe plus lisible et plus facile à discuter.

L’intérêt des développeurs tient aussi à cette dimension visuelle. Les systèmes de calcul modernes sont souvent décrits par du code, des équations et des outils techniques spécialisés. Une représentation graphique capable de conserver la précision tout en rendant les connexions apparentes peut devenir un support précieux pour concevoir, expliquer et faire évoluer un système.

Ce qu’il faut surveiller

La prochaine étape sera de mesurer à quel point ce langage peut être transformé en pratiques et en outils. La publication établit un cadre théorique et graphique ; son impact dépendra de sa capacité à guider des optimisations vérifiables sur des logiciels et du matériel réels.

Il faudra notamment observer si cette approche permet de raccourcir le temps nécessaire pour identifier une amélioration, si elle s’intègre aux environnements utilisés par les développeurs et si elle reste maniable à l’échelle des systèmes les plus vastes. Il faudra aussi vérifier comment elle traite les compromis inévitables : une modification favorable à la rapidité peut être moins intéressante pour la mémoire ou l’énergie.

À mesure que les modèles d’IA et les infrastructures qui les font fonctionner gagnent en complexité, la capacité à penser leurs interactions deviendra aussi importante que la performance de chaque composant pris séparément. C’est sur ce terrain que les diagrammes du MIT veulent apporter une nouvelle méthode de raisonnement.