Hunyuan Video-Foley : Tencent veut donner un son réaliste aux vidéos IA

Une vidéo peut sembler techniquement réussie et pourtant laisser une impression d’inachevé. La raison tient souvent à ce que l’on entend, ou plutôt à ce que l’on n’entend pas. Une rue animée sans circulation, une tasse posée sans tintement, un rivage sans ressac ou un personnage qui marche sans bruit de pas retirent une part essentielle de la crédibilité d’une scène. Alors que les générateurs d’images animées progressent rapidement, le son reste l’un des grands défis de l’expérience audiovisuelle produite par intelligence artificielle.

Avec Hunyuan Video-Foley, une équipe du laboratoire Hunyuan de Tencent propose de s’attaquer précisément à cette lacune. Le système est conçu pour analyser une vidéo et produire une bande sonore de haute qualité, en tenant compte à la fois de ce qui se déroule à l’écran et d’éventuelles descriptions textuelles. Son ambition n’est pas seulement d’ajouter une ambiance générale : il s’agit de faire correspondre les sons aux gestes, aux objets et au déroulé temporel de la séquence.

Le Foley, ce travail discret qui rend les images crédibles

Le terme Foley désigne l’art de créer ou de recréer des effets sonores pour accompagner une image. Au cinéma et dans l’audiovisuel, ce travail peut recouvrir les pas, les frottements de vêtements, la fermeture d’une porte, le contact d’un objet sur une table ou les sons d’un environnement. Ces détails paraissent modestes, mais ils donnent à l’action sa matérialité et participent directement à l’émotion ressentie par le spectateur.

Dans une production classique, cette étape exige du temps, des enregistrements, un montage minutieux et une synchronisation image par image. Pour les contenus générés automatiquement, le problème change d’échelle. Une IA doit d’abord comprendre qu’un mouvement a lieu, identifier les éléments susceptibles de produire un son, interpréter l’ambiance de la scène, puis placer un résultat sonore au bon moment.

Une consigne textuelle peut aider, mais elle ne suffit pas toujours. Demander le « son des vagues » pour une plage animée peut conduire un modèle à générer uniquement le ressac, en oubliant les pas sur le sable, les cris d’oiseaux ou les voix lointaines. À l’inverse, se fier uniquement aux images peut être ambigu : un même geste peut produire des sons très différents selon le matériau, la distance ou le contexte imaginé.

Comment Hunyuan Video-Foley relie l’image, le texte et le son

Tencent présente Hunyuan Video-Foley comme un système de génération audio à partir de vidéo, enrichi par des indications textuelles. L’objectif est d’éviter que l’un de ces éléments ne prenne systématiquement le dessus sur l’autre. La vidéo doit rester la référence pour les actions visibles et leur chronologie, tandis que le texte apporte un complément de contexte, par exemple sur l’atmosphère recherchée ou les sons à privilégier.

Le point central est ce que les chercheurs décrivent comme un risque de « décalage de modalité ». Dans les systèmes vidéo-audio traditionnels, le modèle peut prêter trop d’attention à la formulation écrite et pas assez à ce qu’il observe réellement dans la séquence. Le résultat paraît alors cohérent avec le prompt, mais pas avec l’image.

Hunyuan Video-Foley cherche à mieux équilibrer ces sources d’information. Une scène de plage ne doit pas être réduite à son élément le plus évident, les vagues. Elle peut contenir plusieurs événements sonores simultanés, avec des intensités et des instants d’apparition différents. C’est cette combinaison, plus qu’un simple fond sonore, qui crée l’impression d’un environnement vivant.

Une bibliothèque de 100 000 heures pour apprendre les correspondances

Pour entraîner son système, Tencent indique avoir constitué une bibliothèque de 100 000 heures réunissant de l’audio, de la vidéo et des descriptions textuelles. Une telle masse de données permet au modèle d’observer un très grand nombre d’associations entre ce qui est vu, ce qui est décrit et ce qui est entendu.

La quantité ne suffit toutefois pas. Les chercheurs expliquent avoir écarté des contenus de faible qualité issus d’internet, notamment des enregistrements comportant de longs silences. Ce filtrage répond à un enjeu pratique : si un modèle apprend à partir d’exemples pauvres, désynchronisés ou dominés par des passages muets, il risque de reproduire ces défauts dans ses propres productions.

La base d’apprentissage rassemble donc trois dimensions complémentaires :

• la vidéo, pour repérer les actions et la progression de la scène ;
• l’audio, pour apprendre la texture, l’intensité et l’organisation des bruitages ;
• le texte, pour relier les éléments sonores à des descriptions compréhensibles par l’utilisateur.

Cette association est particulièrement utile pour les séquences complexes. Une seule image peut contenir plusieurs personnes, des objets en mouvement, un décor et une ambiance lointaine. L’IA ne doit pas seulement choisir un son isolé : elle doit composer une narration sonore qui conserve une certaine cohérence d’ensemble.

Pourquoi la synchronisation est le vrai test de l’immersion

Un bon son placé au mauvais instant peut paraître plus artificiel qu’une absence de son. Le tintement d’un verre doit correspondre au moment où il est posé. Un battement d’ailes, un claquement de portière ou un choc doivent suivre le mouvement visible avec une précision suffisante pour ne pas rompre l’illusion.

Tencent indique avoir développé une architecture permettant au modèle de traiter efficacement plusieurs tâches. Une attention particulière est accordée au lien temporel entre l’image et l’audio. En d’autres termes, le système ne cherche pas seulement à déterminer quels sons conviennent à une vidéo, mais aussi quand ils doivent commencer, évoluer ou s’interrompre.

L’équipe mentionne également une stratégie de formation baptisée Representation Alignment, ou REPA. L’idée est de guider l’apprentissage du modèle en le comparant à des modèles audio professionnels pré-entraînés. Tencent rapproche ce mécanisme du travail d’un ingénieur du son expérimenté : au lieu de laisser l’IA apprendre sans repère qualitatif, cette méthode l’oriente vers des représentations sonores plus claires, plus riches et plus stables.

Les détails techniques complets comptent surtout pour les spécialistes, mais l’effet recherché est simple à comprendre : réduire l’écart entre un son théoriquement approprié et un son qui semble réellement appartenir à la scène.

Des résultats supérieurs selon les tests présentés par Tencent

Tencent affirme avoir comparé Hunyuan Video-Foley à d’autres modèles d’IA de conversion vidéo-audio. D’après l’équipe, le système obtient de meilleurs résultats à la fois dans les évaluations réalisées par ordinateur et lors d’écoutes menées auprès d’auditeurs humains.

Les améliorations revendiquées portent sur deux aspects qui ne se confondent pas. Le premier est la correspondance de contenu : les sons produits doivent être pertinents au regard de ce qui apparaît dans la vidéo. Le second est la correspondance temporelle : ils doivent intervenir au moment approprié. Un modèle peut réussir l’un de ces objectifs sans réussir l’autre. Une ambiance de marché peut être crédible, par exemple, tout en restant peu convaincante si elle ne réagit pas aux actions visibles dans le plan.

Les informations présentées ne donnent pas de détail chiffré sur les écarts de performance, ni sur l’ensemble des conditions d’évaluation. Cette prudence est utile : dans les outils créatifs, la qualité dépend aussi du type de vidéo, de la durée, de la densité des actions et de l’attente artistique de l’utilisateur. Les résultats annoncés signalent néanmoins une avancée vers des bandes sonores mieux ancrées dans l’image.

Un projet annoncé en open source

Tencent a annoncé la sortie de Hunyuan Video-Foley en open source. Cette décision peut intéresser les développeurs qui souhaitent expérimenter le modèle, les équipes de production qui envisagent de l’intégrer dans leur chaîne de travail et les chercheurs qui veulent étudier ses performances ou l’adapter à des besoins particuliers.

L’ouverture du code est aussi un levier important dans un domaine où les outils de génération multimodale restent souvent difficiles à examiner. Elle permet, en principe, de mieux comprendre le fonctionnement d’une technologie, de tester ses résultats sur différents types de contenus et de développer des interfaces adaptées à des usages concrets.

Pour autant, open source ne signifie pas automatiquement que l’outil est prêt à l’emploi pour tous les publics. L’installation, les ressources informatiques nécessaires, les conditions d’utilisation et les modalités d’intégration doivent être vérifiées dans la documentation associée au projet. Pour une équipe audiovisuelle, l’intérêt réel dépendra notamment de la facilité avec laquelle le modèle peut s’insérer entre la génération d’images, le montage, le mixage et la validation humaine.

Quels créateurs peuvent en tirer parti, et avec quelles limites ?

Le système pourrait intéresser plusieurs secteurs. Les réalisateurs et animateurs peuvent y voir un moyen d’obtenir rapidement une première proposition de paysage sonore. Les créateurs de vidéos courtes pourraient enrichir des séquences sans enregistrer chaque effet séparément. Dans le jeu vidéo, la capacité à rapprocher sons et actions visibles constitue également une piste d’usage, notamment pour des prototypes ou des expériences interactives.

Son intérêt est particulièrement évident lorsque les images sont déjà synthétiques. Dans ce cas, il n’existe parfois aucune prise de son d’origine à restaurer. La génération audio devient alors un moyen de compléter une matière visuelle qui, sans cela, resterait silencieuse ou dépendrait d’une banque de sons ajoutée manuellement.

Mais un résultat cohérent n’est pas forcément le résultat souhaité. Un film, une publicité, une animation ou une œuvre expérimentale peuvent privilégier le décalage, le silence ou des sons volontairement irréalistes. L’automatisation doit donc être envisagée comme une proposition créative, et non comme une vérité sonore imposée par l’image.

La question de la transparence compte aussi. Une bande sonore réaliste peut renforcer la force de persuasion d’une vidéo générée. Selon le contexte de diffusion, il peut être important de signaler qu’un contenu ou une partie de son audio a été synthétisé, en particulier lorsque le public pourrait croire à un enregistrement réel.

Ce qu’il faut surveiller pour mesurer son impact

Hunyuan Video-Foley illustre une évolution plus large : la génération vidéo ne se joue plus seulement sur la netteté d’une image ou la fluidité d’un mouvement. L’audio devient une brique essentielle de la crédibilité des contenus produits par IA. La prochaine étape consistera à observer la qualité du système sur des scènes longues, chargées en actions simultanées ou marquées par des changements brusques d’ambiance.

Il faudra également suivre la manière dont les créateurs s’approprient l’outil. Sera-t-il surtout utilisé pour fabriquer rapidement des maquettes sonores, pour accélérer certaines étapes de postproduction ou pour produire directement des contenus finalisés ? La réponse dépendra moins de la promesse technologique que de la capacité du modèle à respecter les intentions d’un réalisateur, d’un monteur ou d’un designer sonore.

Enfin, l’ouverture annoncée par Tencent permettra de juger le projet au-delà des démonstrations. Les essais indépendants, les adaptations par la communauté et les retours sur des productions réelles diront si ces 100 000 heures de données et cette attention au synchronisme suffisent à faire du son généré une composante fiable de la création vidéo par IA.