La table périodique du machine learning veut accélérer la découverte d’algorithmes

Face à la multiplication des méthodes d’intelligence artificielle, les chercheurs ont souvent le sentiment de naviguer dans une bibliothèque dont les rayonnages grandissent plus vite que les index. Une équipe associant le MIT, Google AI Perception et Microsoft avance une réponse originale : cartographier les liens fondamentaux entre les algorithmes. Son outil, une « table périodique » de l’apprentissage machine, ne classe pas des éléments chimiques, mais plus de 20 algorithmes classiques selon la manière dont ils relient les données entre elles.

L’ambition est pratique. En faisant apparaître les parentés, les différences et les emplacements encore inoccupés entre les méthodes, ce cadre pourrait aider à améliorer un modèle existant ou à imaginer un nouvel algorithme sans repartir de zéro. Les chercheurs l’ont déjà utilisé pour créer un classifieur d’images qui, selon leurs résultats, a dépassé de 8 % des méthodes de pointe. Le travail doit être présenté à l’International Conference on Learning Representations, ICLR.

Pourquoi mettre les algorithmes dans une table ?

L’apprentissage machine désigne un ensemble de techniques qui permettent à un programme de repérer des régularités dans des exemples. Pour classer une image, filtrer du spam ou prédire une valeur, un algorithme reçoit des données d’entraînement et cherche une règle qui fonctionne également sur de nouvelles données.

Or, sous des noms, des usages et des formulations mathématiques différents, de nombreux algorithmes poursuivent une opération apparentée : ils apprennent quelles relations doivent être fortes ou faibles entre des points de données. Un système peut ainsi rapprocher des exemples semblables et éloigner des exemples différents. Un autre peut estimer dans quelle mesure deux observations sont liées. Les mécanismes précis varient, mais la question de fond demeure : quelles connexions entre les données faut-il apprendre ?

C’est cette idée que l’équipe a exploitée. Plutôt que de présenter chaque méthode comme une invention isolée, elle propose de les situer dans un espace commun. La comparaison avec le tableau périodique des éléments est une métaphore utile : le tableau de chimie organise des objets connus selon leurs propriétés et permet d’anticiper des éléments ou des comportements. Ici, l’objectif est de rendre les familles d’algorithmes plus lisibles et de mettre en évidence des pistes de conception encore peu explorées.

L’équation commune au cœur du cadre I-Con

La recherche repose sur l’identification d’une équation unificatrice. Celle-ci décrit la manière dont des algorithmes établissent des connexions entre des points de données réels, puis tentent de les approximer. Durant l’entraînement, le système réduit l’écart entre les relations qu’il a apprises et celles présentes dans les données utilisées pour le former.

Cette formulation commune ne veut pas dire que tous les algorithmes deviennent identiques. Chacun conserve ses choix : type de relation étudiée, manière de définir les exemples similaires ou différents, représentation des données et objectif poursuivi. Mais l’équation fournit un langage de comparaison. Elle permet de distinguer ce qui relève du socle mathématique partagé de ce qui constitue la particularité d’une méthode.

Les chercheurs ont nommé leur cadre I-Con, pour information contrastive learning, que l’on peut traduire par apprentissage contrastif d’information. L’apprentissage contrastif consiste, de façon générale, à tirer parti de comparaisons entre exemples : le modèle est encouragé à reconnaître ce qui doit être rapproché et ce qui doit être distingué. Dans I-Con, ce principe sert de point d’entrée pour relier différentes techniques classiques dans une même représentation.

Comment la table organise plus de 20 méthodes

La table regroupe les algorithmes en fonction des relations qu’ils apprennent. Cette approche change la manière habituelle de consulter la littérature scientifique. Au lieu de commencer par l’étiquette d’une technique, comme la classification ou une autre tâche, un chercheur peut partir de la structure des connexions qu’il souhaite modéliser.

Cette grille de lecture est particulièrement utile dans un domaine où les publications s’accumulent rapidement. Deux méthodes développées pour des problèmes différents peuvent avoir une base mathématique proche. À l’inverse, deux algorithmes associés à une même application peuvent reposer sur des hypothèses distinctes. Une carte commune aide donc à éviter deux écueils : redécouvrir une idée déjà connue sous une autre forme, ou ignorer une combinaison déjà suggérée par les travaux voisins.

La structure a aussi été conçue pour rester extensible. L’équipe indique qu’il est possible d’ajouter des lignes et des colonnes afin de représenter de nouveaux types de connexions entre les données. Cette souplesse est essentielle : une taxonomie figée vieillit vite dans une discipline aussi active. I-Con se veut plutôt un cadre auquel de nouvelles méthodes peuvent être rattachées à mesure qu’elles apparaissent.

Les espaces vides sont l’un des aspects les plus stimulants de l’outil. Ils ne garantissent pas qu’une découverte importante s’y trouve. Ils indiquent en revanche que, dans la logique de l’équation, certaines combinaisons ou certaines relations n’ont pas encore été associées à un algorithme identifié. Cela transforme une question très ouverte, « quelle idée essayer ? », en une recherche davantage guidée par la structure mathématique.

Un premier test avec la classification d’images

Pour vérifier que leur table n’était pas seulement un exercice de classement, les chercheurs ont utilisé le cadre pour combiner des éléments provenant de deux algorithmes différents. Ils ont notamment appliqué au problème de classification d’images des idées issues de l’approche contrastive. Le résultat est un nouvel algorithme de classification d’images.

D’après l’équipe, cette méthode a dépassé de 8 % les méthodes de pointe. Le chiffre illustre le potentiel du raisonnement par combinaisons : une amélioration peut venir non d’un changement total de paradigme, mais d’un rapprochement pertinent entre des idées qui avaient jusqu’ici évolué dans des catégories distinctes.

La classification d’images est une tâche emblématique de l’IA. Le système doit attribuer une catégorie à une image à partir de ce qu’il a appris d’un grand nombre d’exemples. Elle sert de terrain d’essai exigeant, car un modèle doit reconnaître des formes, des objets ou des motifs malgré les variations de cadrage, d’arrière-plan ou de qualité visuelle. Une avancée dans ce domaine ne signifie pas qu’elle s’appliquera automatiquement à tous les usages de l’IA, mais elle offre une démonstration concrète de l’intérêt du cadre.

Ce que change cette approche pour la recherche

Shaden Alshammari, étudiante diplômée au MIT et auteure principale de l’étude, est associée à ce travail mené avec des contributeurs de Google AI Perception, du laboratoire CSAIL du MIT et de Microsoft. La diversité des participants reflète une réalité de la recherche contemporaine en IA : les progrès sont souvent issus d’échanges entre laboratoires universitaires et équipes industrielles.

L’apport le plus direct de la table est méthodologique. Au lieu de tester des variantes de manière largement empirique, les chercheurs peuvent utiliser le cadre pour formuler des hypothèses : si une relation fonctionne dans un algorithme donné, que se passe-t-il si elle est transposée dans une autre famille de méthodes ? Si une case est inoccupée, quelles contraintes mathématiques faut-il respecter pour l’explorer ?

Cette démarche ne dispense pas d’expériences. Une idée élégante sur le papier peut se révéler coûteuse à entraîner, fragile face à de nouvelles données ou moins performante que prévu. Mais elle peut réduire l’espace des possibilités à examiner et rendre la phase de conception plus systématique. Dans un champ saturé de publications, une carte des connexions peut faire gagner du temps et améliorer la capacité à expliquer pourquoi une méthode a été imaginée.

Une carte utile, mais pas une recette automatique

L’analogie avec la table périodique doit toutefois être maniée avec prudence. Les éléments chimiques sont des objets physiques dont les propriétés sont établies par la structure de la matière. Les algorithmes, eux, sont des constructions mathématiques et informatiques. Leurs performances dépendent fortement des données disponibles, de la tâche ciblée, des réglages d’entraînement et des critères utilisés pour les évaluer.

Une case vide dans I-Con ne constitue donc pas la preuve qu’un algorithme supérieur attend d’être découvert. Elle représente une direction de recherche. Il reste à définir précisément la méthode correspondante, à l’implémenter, à la tester sur des données adaptées et à comparer ses résultats avec des références solides. La performance de 8 % rapportée pour le classifieur d’images est encourageante, mais elle ne permet pas à elle seule de conclure que le cadre améliorera toutes les catégories de modèles.

L’enjeu de la généralisation sera central. Les chercheurs devront déterminer si les connexions mises en lumière par I-Con peuvent guider utilement la conception de méthodes dans des contextes variés, y compris au-delà du cas de la classification d’images. Il faudra également vérifier que la table reste assez simple à utiliser lorsque de nouveaux types de relations, de données et d’algorithmes y seront ajoutés.

Ce qu’il faut surveiller après la présentation à ICLR

La présentation prévue à ICLR constituera une étape importante pour ce travail. Cette conférence est l’un des rendez-vous majeurs consacrés à l’apprentissage des représentations, c’est-à-dire aux façons dont les systèmes d’IA transforment les données en structures exploitables. Les échanges avec la communauté scientifique permettront d’évaluer la portée réelle de l’équation unificatrice et la facilité avec laquelle d’autres équipes peuvent employer la table.

Il faudra suivre trois éléments. D’abord, l’adoption du cadre : une carte n’acquiert de valeur collective que si d’autres chercheurs s’en servent et proposent des extensions. Ensuite, la reproduction du résultat en classification d’images, indispensable pour apprécier précisément l’amélioration annoncée de 8 %. Enfin, l’apparition de nouvelles méthodes inspirées des espaces vides de la table, qui serait le test le plus parlant de sa capacité à stimuler la découverte.

Soutenu notamment par l’Air Force Artificial Intelligence Accelerator et la National Science Foundation, le projet s’inscrit dans une ambition de long terme. Relier des algorithmes issus de décennies de recherche pourrait permettre de transformer une masse de travaux dispersés en un terrain d’exploration plus cohérent. Pour l’IA, dont les avancées reposent autant sur de nouvelles idées que sur la capacité à relire les anciennes, cette perspective mérite l’attention.