CAV-MAE Sync : l’IA apprend seule à relier précisément images et sons

Regarder une vidéo paraît naturel pour un humain : le claquement d’une porte, le bruit d’un moteur ou des applaudissements donnent instantanément du sens aux images. Pour une machine, faire le lien exact entre ce qui est visible et ce qui est audible reste pourtant une tâche complexe. Des chercheurs du MIT, de l’Université Goethe en Allemagne et d’IBM proposent une approche qui permet à une IA d’apprendre cette relation par elle-même, directement à partir de clips vidéo.

Leur système, baptisé CAV-MAE Sync, cherche à aligner avec davantage de précision l’image et le son, sans dépendre d’un long travail humain d’annotation. L’ambition dépasse la simple synchronisation technique d’une bande-son avec une image : il s’agit d’aider les modèles à comprendre quels éléments auditifs correspondent à quels moments et à quelles scènes. Cette capacité peut rendre la recherche dans de grandes collections de vidéos plus pertinente et, à terme, nourrir des systèmes multimodaux capables de mieux percevoir leur environnement.

Pourquoi relier le son et l’image est difficile pour une IA

Une vidéo rassemble au moins deux flux d’information très différents. D’un côté, les images évoluent sous la forme d’une succession de cadres. De l’autre, l’audio est un signal continu où se mêlent voix, musique, bruit de fond et sons d’événements. Ces informations peuvent se compléter, mais elles ne coïncident pas toujours parfaitement.

Une personne peut par exemple identifier qu’un bruit bref provient d’une porte qui se ferme, même si la porte n’occupe qu’une petite partie de l’image. Elle peut aussi comprendre qu’une voix entendue hors champ est liée à une personne qui n’est pas visible. Un modèle doit, lui, apprendre ces associations en observant un grand nombre d’exemples.

Historiquement, une façon de guider cet apprentissage consiste à fournir des données annotées : un humain décrit ou étiquette une action, un objet, un son ou le contenu d’une séquence. Cette méthode est utile, mais elle a un coût et elle est difficile à étendre à l’immense quantité de vidéos disponibles. Les annotations peuvent aussi rester trop générales pour capturer une correspondance précise, à un instant donné, entre un son et une image.

Le travail présenté le 22 mai 2025 s’inscrit dans une autre logique : exploiter le fait qu’une vidéo contient déjà, par nature, des images et du son enregistrés ensemble. Cette co-présence devient un signal d’apprentissage, même en l’absence de description humaine.

CAV-MAE, une base qui apprend sans étiquettes humaines

Les chercheurs s’appuient sur un modèle appelé CAV-MAE. Son principe est de traiter séparément les composantes audio et visuelle d’un clip, puis de rapprocher les représentations internes qu’il en tire. Une représentation interne est une forme numérique condensée, utilisée par le modèle pour retenir les caractéristiques importantes d’un contenu.

L’entraînement mobilise notamment deux objectifs complémentaires. Le premier est l’apprentissage contrastif. Simplifié, son rôle est d’apprendre au modèle que l’audio et l’image provenant d’un même clip doivent être plus proches l’un de l’autre que ceux provenant de clips différents. Cette méthode aide à construire un espace de représentations où des contenus liés se retrouvent associés.

Le second objectif est la reconstruction. Le modèle apprend à retrouver des parties masquées ou manquantes à partir du reste des données. Ce mécanisme l’oblige à exploiter le contexte contenu dans le son et les images, plutôt qu’à mémoriser seulement des correspondances superficielles.

Cette approche sans étiquetage humain vise donc un double bénéfice : réduire la dépendance à des jeux de données laborieusement annotés et améliorer les capacités de récupération de contenu multimédia. Dans ce dernier cas, un utilisateur pourrait rechercher plus efficacement des séquences pertinentes dans une vidéothèque, en fonction de leur contenu sonore ou visuel.

Ce que CAV-MAE Sync change dans l’alignement temporel

CAV-MAE constitue une base importante, mais les chercheurs ont voulu résoudre un problème plus précis : un clip entier peut contenir plusieurs actions, images et sons. Considérer l’ensemble de l’audio comme un seul bloc risque de brouiller les relations fines entre un événement à l’écran et ce que l’on entend à cet instant.

C’est l’objectif de CAV-MAE Sync. Au lieu de s’appuyer seulement sur une représentation globale du son d’une vidéo, ce modèle divise la piste audio en fenêtres plus petites. Il peut ainsi apprendre à mettre en rapport un cadre vidéo avec l’extrait audio qui lui est pertinent. Le système cherche donc une synchronisation sémantique : non pas seulement vérifier que le son et l’image démarrent ensemble, mais identifier quel son est associé à quel élément visuel ou à quelle action.

Prenons un exemple simple. Dans une séquence montrant une porte qui se ferme, plusieurs informations sonores peuvent être présentes : une conversation, des pas, un bruit de circulation lointain, puis le claquement de la porte. Le défi est d’associer ce dernier son à l’action visible, et non à l’ensemble indistinct de la scène. C’est ce niveau de correspondance plus fin que vise l’approche Sync.

Les chercheurs ont également ajusté l’architecture pour mieux équilibrer les deux objectifs d’apprentissage. Dans un même modèle, la recherche de correspondances entre contenus et la reconstruction de données peuvent entrer en concurrence si elles sont mal articulées. CAV-MAE Sync est conçu pour soutenir ces deux tâches sans sacrifier la précision de l’une à l’autre.

À quoi servent les global tokens et les register tokens ?

Le fonctionnement de CAV-MAE Sync repose notamment sur deux types de représentations appelées global tokens et register tokens. Le mot « token » désigne ici une unité numérique manipulée par le modèle, et non un mot comme dans un assistant conversationnel.

Les global tokens servent l’apprentissage contrastif. Ils résument les informations nécessaires pour comparer l’audio et la vidéo à une échelle globale. Ils aident donc le modèle à dire si deux éléments appartiennent vraisemblablement au même contenu audiovisuel.

Les register tokens jouent un rôle distinct, orienté vers la reconstruction. Ils permettent au modèle de disposer d’un espace de traitement adapté à cette tâche, sans que celle-ci perturbe inutilement la représentation globale utilisée pour rapprocher le son et l’image. Cette séparation apporte une plus grande flexibilité à l’architecture.

Ce choix peut sembler technique, mais son idée est intuitive : une IA n’a pas nécessairement besoin d’utiliser exactement le même résumé d’une vidéo pour répondre à toutes les questions. Retrouver la vidéo liée à un son et reconstituer une partie manquante du contenu exigent des informations liées, mais pas identiques. En donnant un rôle propre à chaque type de représentation, les chercheurs tentent de préserver la qualité des deux apprentissages.

Quelles applications pour la recherche vidéo et la création de contenus ?

La première application envisagée concerne la récupération de contenu multimédia, autrement dit la capacité à retrouver rapidement des vidéos ou des extraits pertinents dans une grande collection. Pour des rédactions, des services d’archives ou des équipes de production audiovisuelle, la recherche de séquences est souvent une étape coûteuse : il faut parcourir, écouter et indexer des heures de contenus.

Un modèle qui comprend mieux l’association entre le son et l’image pourrait faciliter l’identification de séquences comportant certaines actions ou certains environnements sonores. Il ne remplacerait pas nécessairement le jugement éditorial ou artistique, mais pourrait accélérer le repérage initial de passages utiles pour un montage, un reportage ou une recherche documentaire.

Les perspectives mentionnées par les chercheurs concernent aussi les robots. Un robot évoluant dans le monde réel bénéficie d’informations visuelles, mais aussi de signaux sonores : une alarme, une voix, le passage d’un véhicule ou la chute d’un objet. Mieux intégrer ces deux sources pourrait l’aider à interpréter ce qui se passe autour de lui.

Cette piste rappelle une limite fréquente des systèmes actuels : une image isolée ne raconte pas toute une situation. Le son peut préciser une action hors champ ou aider à lever une ambiguïté visuelle. À l’inverse, l’image donne un contexte essentiel à un son difficile à interpréter seul.

Vers des modèles qui ajoutent aussi le texte

Les auteurs envisagent d’intégrer de nouveaux modèles capables de générer des données et d’étendre CAV-MAE Sync au traitement du texte. L’objectif à long terme est de progresser vers un grand modèle linguistique audiovisuel, qui ne traiterait plus seulement l’audio et la vidéo, mais pourrait aussi relier ces informations à des descriptions, des requêtes ou des dialogues écrits.

L’intérêt est évident pour les interfaces en langage naturel. Une personne pourrait poser une question formulée en texte sur une vidéo, tandis que le système s’appuierait simultanément sur ce qui est vu et entendu pour chercher les éléments de réponse. Néanmoins, cette étape reste un objectif de recherche : elle suppose de maintenir l’alignement entre trois modalités, chacune ayant son rythme et ses ambiguïtés propres.

La collaboration entre des étudiants du MIT, de l’Université Goethe et des chercheurs d’IBM illustre aussi le caractère interdisciplinaire de cette recherche. Ces travaux doivent être présentés à la Conférence sur la vision par ordinateur et la reconnaissance de modèles, connue sous le nom de CVPR, un rendez-vous majeur de la communauté scientifique spécialisée en vision par ordinateur.

Ce qu’il faut surveiller

La promesse de CAV-MAE Sync est d’apprendre davantage à partir des données brutes, sans demander à des humains de décrire chaque scène. Pour évaluer la portée réelle de l’approche, il faudra observer sa capacité à généraliser à des vidéos variées, marquées par des bruits de fond, des sons hors champ, des montages rapides ou des décalages volontaires entre l’image et l’audio.

La question de la précision contextuelle sera tout aussi importante. Une corrélation entre une image et un son ne garantit pas une compréhension complète de la scène. Un modèle peut détecter qu’une voix accompagne une image sans saisir qui parle, à qui, dans quel contexte et avec quelle intention. L’ajout futur de données textuelles pourrait enrichir cette compréhension, tout en rendant l’entraînement et l’évaluation plus complexes.

Enfin, la baisse du besoin en annotations humaines ne signifie pas l’absence totale de contrôle humain. Les jeux de vidéos utilisés, les critères d’évaluation et les usages concrets restent des choix décisifs. Pour les professionnels du journalisme, du cinéma ou de la robotique, l’enjeu sera de transformer cette capacité d’alignement audio-visuel en outils fiables, transparents et adaptés à des situations réelles.