ImageNet et AlexNet : comment les données ont réveillé le deep learning

Pendant des années, les réseaux neuronaux ont été regardés avec prudence par une partie de la recherche en intelligence artificielle. Trop lents à entraîner, trop gourmands en calcul, parfois jugés moins efficaces que d’autres méthodes, ils semblaient avoir perdu du terrain. Pourtant, en l’espace de quelques années, un projet de base de données d’images et un concours de vision par ordinateur allaient contribuer à renverser ce diagnostic.

Cette histoire ne tient pas à un seul « accident » ni à un individu isolé. Elle illustre plutôt une convergence décisive : une idée de recherche menée avec ténacité, des millions d’images classées, des réseaux neuronaux plus profonds et des processeurs graphiques capables d’effectuer énormément de calculs en parallèle. ImageNet, imaginé par la chercheuse Fei-Fei Li, a donné au deep learning un terrain d’entraînement à une échelle jusque-là inhabituelle. Puis, en 2012, AlexNet a montré de façon éclatante ce que cette combinaison pouvait accomplir.

ImageNet, le pari de données à très grande échelle

Lorsque Fei-Fei Li commence à travailler sur ImageNet, entre 2007 et 2009, l’ambition paraît démesurée. L’objectif n’est pas simplement de rassembler des photographies : il s’agit de créer une ressource structurée permettant d’entraîner et d’évaluer des programmes capables de reconnaître des objets.

Le principe est simple à énoncer, mais colossal à mettre en œuvre. Pour apprendre à différencier un chat d’un chien, une voiture d’un vélo ou une tasse d’une bouteille, un algorithme doit voir de nombreux exemples, dans des positions, des éclairages et des contextes différents. Une image d’un chat prise de face dans un salon ne suffit pas à apprendre à reconnaître tous les chats, dehors, de profil, partiellement cachés ou photographiés de loin.

ImageNet a donc été conçu comme un vaste catalogue visuel organisé en catégories. À terme, la base a rassemblé environ 14 millions d’images annotées. Les équipes se sont notamment appuyées sur des mécanismes de travail distribué, dont Amazon Mechanical Turk, pour vérifier et associer les images aux catégories prévues. Cette méthode a permis de réduire à environ deux ans un travail qui aurait été impraticable à petite échelle.

À l’époque, une telle accumulation de données n’allait pas de soi. Selon le récit de Fei-Fei Li, un mentor lui avait lancé : « Vous avez pris cette idée beaucoup trop loin. » La remarque reflétait un scepticisme réel. Beaucoup de chercheurs estimaient alors que des méthodes comme les machines à vecteurs de support, ou SVM, constituaient des outils plus modernes et plus fiables que les réseaux neuronaux.

Pourquoi les réseaux neuronaux ne faisaient-ils pas consensus ?

Le deep learning désigne une famille de méthodes utilisant des réseaux neuronaux comportant plusieurs couches de calcul. Durant l’entraînement, le système reçoit un très grand nombre d’exemples et ajuste progressivement ses paramètres afin de réduire ses erreurs. En vision par ordinateur, les premières couches apprennent généralement à repérer des éléments simples, comme des contours ou des textures. Les couches suivantes combinent ces signaux pour identifier des formes puis des objets.

L’idée de réseau neuronal est bien plus ancienne que 2012. La rétropropagation, une méthode centrale pour ajuster les paramètres d’un réseau, était déjà connue. Geoffrey Hinton a notamment contribué à maintenir et faire progresser ce domaine au cours des périodes où il paraissait moins populaire. Mais disposer d’une bonne idée mathématique ne garantit pas son efficacité pratique.

Trois obstacles limitaient alors l’essor de ces modèles :

• les jeux de données disponibles étaient souvent trop petits ou trop limités pour entraîner des réseaux très complexes ;
• les capacités de calcul nécessaires rendaient les expérimentations longues et coûteuses ;
• les chercheurs disposaient de méthodes concurrentes solides, dont les SVM, qui donnaient de bons résultats sur les tâches de vision connues.

C’est pourquoi l’importance d’ImageNet dépasse le seul volume de ses images. La base a créé une mesure commune. Grâce au concours associé, des équipes différentes pouvaient s’attaquer à la même tâche, comparer leurs résultats et rendre les avancées beaucoup plus visibles.

2012, le choc AlexNet au concours ImageNet

Le point de bascule intervient en 2012, lors du défi ImageNet de reconnaissance visuelle. Une équipe réunissant Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton y présente AlexNet, un réseau neuronal convolutif profond entraîné à partir des données d’ImageNet.

Un réseau convolutif est spécialement adapté aux images. Plutôt que d’examiner une photo comme une longue suite de nombres sans structure, il analyse de petites zones et recherche des motifs visuels réutilisables à différents endroits de l’image. Cette architecture est particulièrement utile pour reconnaître un même objet même s’il n’apparaît pas exactement au centre du cadre ou à la même taille.

La démonstration est spectaculaire. Dans l’épreuve de classification du concours, AlexNet obtient un taux d’erreur top-5 de 15,3 %, contre 26,2 % pour le deuxième meilleur résultat. Le taux d’erreur top-5 mesure la proportion de cas où la bonne catégorie ne figure pas parmi les cinq réponses les plus probables proposées par le système. L’écart n’est donc pas un simple gain marginal : il signale une rupture nette avec les méthodes concurrentes.

Cette victoire n’implique pas qu’AlexNet « comprenait » les images comme le ferait une personne. Le modèle associait des régularités visuelles apprises à des catégories. Mais il démontrait qu’un réseau profond correctement entraîné pouvait dépasser de loin les approches précédentes sur une tâche de référence. Pour la communauté scientifique comme pour l’industrie, le message était difficile à ignorer.

Le rôle déterminant des GPU et de CUDA

Les données ne suffisent pas. Pour apprendre à reconnaître des objets, AlexNet devait ajuster un très grand nombre de paramètres à travers d’innombrables opérations mathématiques. Les processeurs classiques, ou CPU, sont conçus pour exécuter une grande variété de tâches, souvent de manière séquentielle. Les GPU, conçus à l’origine pour produire les images des jeux vidéo et des logiciels graphiques, excellent au contraire dans l’exécution simultanée de nombreuses opérations similaires.

Cette propriété correspond très bien aux besoins des réseaux neuronaux, qui reposent largement sur des calculs matriciels répétitifs. La plateforme CUDA, développée par Nvidia, a permis aux programmeurs d’employer des GPU pour des tâches de calcul qui ne relevaient pas de l’affichage graphique. AlexNet a notamment été entraîné à l’aide de deux GPU Nvidia GTX 580.

Le tournant ne vient donc pas d’une seule amélioration matérielle. Les GPU existaient déjà et les réseaux neuronaux aussi. Mais les outils logiciels, les méthodes d’entraînement et les jeux de données étaient enfin réunis pour convertir cette puissance parallèle en résultats mesurables.

Les trois conditions qui ont changé la vision par ordinateur

Fei-Fei Li résume l’émergence du deep learning par la rencontre de trois composantes : des architectures de réseaux neuronaux, des données massives comme celles d’ImageNet et la puissance de calcul des GPU. Cette grille de lecture demeure utile pour comprendre la vague actuelle de modèles génératifs.

Les modèles capables de produire du texte, des images, du son ou du code reposent eux aussi sur cette convergence. Ils sont entraînés sur des corpus très vastes, utilisent des architectures complexes et mobilisent une puissance informatique considérable. Les tâches ont changé, les méthodes se sont raffinées, mais la leçon de 2012 reste la même : une avancée devient possible lorsque les données, les algorithmes et l’infrastructure progressent ensemble.

Ce qu’ImageNet a changé dans la façon de faire de l’IA

La réussite d’AlexNet a modifié les priorités de la recherche. Elle a convaincu de nombreux laboratoires et entreprises que l’amélioration des performances ne passerait pas uniquement par des règles écrites à la main ou par l’ajustement de caractéristiques conçues par des experts. Il devenait possible de laisser un modèle apprendre lui-même une grande partie des représentations utiles à partir des données.

Ce changement a eu des effets rapides dans la reconnaissance d’images, puis dans la traduction automatique, la reconnaissance vocale et, plus tard, les modèles génératifs. Il a aussi entraîné une course aux données, aux GPU et aux compétences scientifiques. Les entreprises technologiques ont compris que les grands jeux de données et l’infrastructure de calcul n’étaient plus de simples ressources techniques : ils devenaient des avantages stratégiques.

Cette évolution comporte toutefois des limites. Une base contenant beaucoup d’images n’est pas nécessairement représentative du monde. Les catégories retenues, les objets surreprésentés, les erreurs d’annotation et les images collectées en ligne influencent les modèles entraînés dessus. De même, de bonnes performances sur un concours ne garantissent pas qu’un système sera robuste dans toutes les situations réelles.

L’héritage d’ImageNet est donc double. Le projet a contribué à faire entrer la vision par ordinateur dans l’ère des très grandes données et des modèles profonds. Il a également rendu plus visibles les questions de qualité des données, de biais, de traçabilité et de droit d’auteur qui accompagnent aujourd’hui le développement de l’IA.

Ce qu’il faut surveiller après la révolution ImageNet

En novembre 2024, le deep learning est au cœur des assistants conversationnels, des générateurs d’images et de nombreux outils utilisés dans la recherche, l’industrie et les services. Pourtant, l’histoire d’ImageNet invite à dépasser le récit d’une technologie apparue soudainement. La percée d’AlexNet a été préparée par des années de travaux, de collecte, d’outillage logiciel et de recherche sur le matériel.

La prochaine étape ne dépendra probablement pas d’un seul modèle spectaculaire. Elle reposera sur la capacité à concevoir des données mieux documentées, des modèles plus fiables, des méthodes d’évaluation plus proches des usages réels et des infrastructures moins énergivores. La leçon la plus durable du projet de Fei-Fei Li est peut-être celle-ci : en IA, les avancées les plus visibles sont souvent bâties sur des fondations patientes, parfois longtemps sous-estimées.