Movie Gen : Meta veut transformer une photo ou un texte en vidéo avec du son

Une photographie qui se met à respirer, un animal immobile qui se lance dans une vague, un portrait auquel une consigne écrite donne un mouvement et une ambiance sonore : c’est la promesse de Movie Gen, la nouvelle famille de modèles d’intelligence artificielle présentée par Meta. Le groupe américain entend ainsi franchir une étape dans la vidéo générative, un domaine où les démonstrations spectaculaires se multiplient mais où la cohérence des mouvements, le contrôle de la scène et le son restent difficiles à obtenir.

Présenté au début d’octobre 2024, Movie Gen ne se limite pas à fabriquer une courte séquence depuis une phrase. Le système peut partir d’une image, générer de l’audio synchronisé et retoucher une vidéo existante sur instruction. Meta le présente comme un travail de recherche. Au 5 octobre 2024, le public ne peut pas encore l’essayer, et le groupe n’a pas annoncé de date précise pour une arrivée dans Facebook, Instagram ou ses autres services.

Qu’est-ce que Movie Gen, le modèle vidéo de Meta ?

Movie Gen désigne un ensemble de modèles d’IA générative conçu pour créer et modifier des contenus audiovisuels. Son principe est comparable à celui des générateurs d’images : l’utilisateur décrit une scène en langage courant, et l’algorithme produit une interprétation visuelle. Mais fabriquer une vidéo est nettement plus complexe que créer une image isolée. Chaque image de la séquence doit rester cohérente avec les précédentes, tandis que les mouvements, les changements de lumière et les interactions entre objets doivent paraître plausibles.

Meta affirme que Movie Gen peut produire des clips jusqu’à 16 secondes en définition 1080p, à partir d’un prompt, c’est-à-dire une instruction textuelle. Le système est également capable d’ajouter une bande sonore composée de bruits, d’ambiances et de musique, en cherchant à la faire correspondre à ce qui apparaît à l’écran.

La famille comprend notamment un modèle vidéo de 30 milliards de paramètres et un modèle audio de 13 milliards de paramètres. Les paramètres sont les valeurs internes ajustées pendant l’entraînement d’un réseau de neurones. Ce chiffre ne garantit pas à lui seul la qualité d’un modèle, mais il donne un ordre de grandeur de sa complexité.

Les vidéos de démonstration diffusées par Meta montrent notamment des animaux qui nagent ou surfent, ainsi que des scènes aux décors variés. Elles illustrent la capacité du modèle à traduire une demande en action, en cadrage et en atmosphère. Comme pour toute démonstration d’un laboratoire, elles ne suffisent pas à établir le comportement du système dans tous les cas ni sa fiabilité dans un usage quotidien.

Comment une photo peut-elle devenir une vidéo ?

L’une des fonctions les plus accessibles de Movie Gen est l’animation d’une image fixe. L’utilisateur fournit une photo, puis décrit l’action souhaitée. L’IA doit alors résoudre plusieurs problèmes simultanément : identifier le sujet principal, conserver sa physionomie ou sa silhouette, imaginer les parties qui ne sont pas visibles sur la photographie, puis créer une succession de mouvements crédibles.

Dans le cas d’un portrait, la difficulté ne consiste pas seulement à faire bouger un visage. Il faut éviter que les traits changent d’une image à l’autre, que les mains se déforment ou que l’arrière-plan se transforme sans raison. Avec une photo d’animal ou d’objet, le modèle doit aussi déterminer comment le sujet pourrait se déplacer dans un environnement qui n’existait peut-être pas hors du cadre initial.

Meta présente Movie Gen comme capable de réaliser des « vidéos personnalisées » à partir d’une image de référence. Cette fonction vise à placer un sujet fourni par l’utilisateur dans des situations nouvelles, tout en conservant son identité visuelle. C’est ce qui peut permettre, par exemple, d’imaginer une animation à partir d’un souvenir photographique plutôt que de générer un personnage entièrement fictif.

Le résultat dépendra inévitablement de la qualité de l’image et de la précision de la demande. Une photo nette, où le sujet est bien visible, offre davantage d’indices au modèle. Une instruction qui décrit clairement l’action, le décor et le mouvement de caméra limite aussi les ambiguïtés. Cela ne fait pas de l’outil une caméra : il invente les mouvements absents de la photo, parfois avec réussite, parfois avec des approximations.

Texte vers vidéo et image vers vidéo : deux usages différents

La génération depuis un texte et l’animation depuis une photo répondent à deux besoins distincts. La première laisse davantage de liberté créative. La seconde offre un point de départ visuel que l’utilisateur souhaite préserver, ce qui peut être utile pour raconter, illustrer ou prolonger une image existante.

Du mouvement, mais aussi une bande sonore générée

L’un des éléments qui distingue Movie Gen de nombreux outils de vidéo générative est son volet audio. Meta indique que le système peut créer des sons adaptés à la scène : bruit d’un moteur, vagues, ambiance de rue, musique ou effets sonores. L’objectif est d’éviter l’impression d’une vidéo muette à laquelle une piste générique aurait été ajoutée après coup.

Cette synchronisation est importante pour la perception du réalisme. Dans une séquence montrant un animal qui court, par exemple, le son doit suivre son rythme et correspondre à son environnement. Dans une scène de surf, le mouvement de l’eau, le vent et les réactions du personnage doivent former un ensemble crédible. Or, la production d’un son cohérent avec une image en mouvement demeure un défi technique propre à la vidéo générative.

Meta explique que son modèle audio peut travailler à partir d’une description textuelle et de la vidéo générée. La séparation entre le modèle vidéo et le modèle audio permet de traiter deux tâches différentes, tout en cherchant à les réunir dans un même résultat. Dans les faits, l’audio synthétique peut renforcer l’immersion, mais il peut aussi amplifier les risques de confusion entre une scène fictive et un document authentique si les contenus ne sont pas clairement identifiés.

Movie Gen peut aussi modifier une vidéo existante

Au-delà de la création d’une scène de zéro, Meta met en avant des possibilités de montage assisté par texte. Le principe : fournir une vidéo et demander à l’IA de transformer un élément précis. Les exemples de ce type de retouche peuvent consister à modifier un objet, un décor ou l’apparence d’un sujet, sans refaire toute la séquence.

Cette approche s’inscrit dans une évolution plus large des outils créatifs. Dans l’image, les fonctions de remplissage génératif permettent déjà d’ajouter ou de supprimer des objets à partir d’une sélection et d’une consigne. Appliquée à la vidéo, l’opération devient plus exigeante : la modification doit être stable pendant plusieurs secondes, suivre les déplacements et respecter les ombres, les reflets ou les occultations par d’autres éléments.

Pour les créateurs de contenus, les équipes de communication ou les professionnels du marketing, une telle fonction pourrait réduire le temps nécessaire à produire des variations visuelles. Elle pourrait servir à préparer un storyboard animé, tester une idée de campagne ou décliner rapidement une scène pour les réseaux sociaux. Elle ne remplace pas pour autant les compétences de réalisation, d’écriture, de montage ou de direction artistique nécessaires à un film abouti.

Pourquoi Meta s’intéresse à la vidéo générative

Pour Meta, la vidéo est un format central. Facebook, Instagram et Threads reposent largement sur le partage de contenus visuels, tandis que les Reels ont renforcé la place des vidéos courtes dans les usages. Un outil capable de transformer rapidement du texte ou des photos en séquences animées pourrait donc intéresser une part importante des créateurs présents dans cet écosystème.

Le groupe se place aussi face à une concurrence intense. Plusieurs entreprises de l’IA développent des générateurs vidéo capables de produire des scènes de plus en plus détaillées à partir de prompts. Dans cette course, les critères décisifs ne sont pas uniquement la qualité esthétique. Il faut également proposer du contrôle, une bonne compréhension des demandes, une cohérence entre les plans et, à terme, des garde-fous adaptés à une diffusion massive.

Meta indique vouloir à l’avenir intégrer des technologies de ce type dans ses produits. Mais l’annonce de Movie Gen ne vaut pas lancement commercial. Le décalage entre une démonstration de recherche et un service grand public peut être important : coûts de calcul, vitesse de génération, modération des demandes, protection des personnes représentées et lutte contre les usages trompeurs sont autant de sujets à résoudre.

Quelles limites et quels risques pour les utilisateurs ?

L’animation réaliste de photos soulève immédiatement des questions de consentement et d’authenticité. Une image d’une personne peut être détournée pour lui attribuer des gestes, un contexte ou des propos qu’elle n’a jamais eus. Même si Movie Gen est présenté dans un cadre créatif, la même famille de techniques peut faciliter la fabrication de contenus trompeurs, notamment lorsque les vidéos circulent sans contexte sur les réseaux sociaux.

La protection du droit à l’image est donc essentielle. Utiliser la photographie d’un proche, d’un collègue ou d’une personnalité pour créer une vidéo n’est pas un geste anodin, surtout si le résultat est publié. Les droits d’auteur constituent un autre enjeu : une photographie, une œuvre, un personnage ou une vidéo existante peuvent être protégés, y compris lorsqu’ils servent de matériau de départ à une transformation par IA.

La qualité n’est pas non plus garantie. Les modèles génératifs peuvent produire des incohérences physiques, modifier des détails importants ou mal comprendre une instruction. Une demande trop vague laisse au système une large part d’interprétation. À l’inverse, une consigne précise n’empêche pas toujours des erreurs sur les mains, les visages, les objets ou la continuité d’une scène.

Enfin, la mention claire du caractère généré par IA est un enjeu de confiance. Pour une création artistique ou humoristique, elle aide le public à comprendre la nature du contenu. Dans un contexte d’information, de politique, de publicité ou de témoignage, elle est indispensable pour ne pas faire passer une fabrication pour une preuve visuelle.

Ce qu’il faut surveiller avant une éventuelle arrivée dans les applications Meta

La première question est celle de la disponibilité. Movie Gen reste, en octobre 2024, un projet de recherche non accessible au public. Meta devra préciser si l’outil sera proposé gratuitement, réservé à certains créateurs, intégré à une application ou décliné en plusieurs fonctions.

Il faudra aussi observer la qualité des résultats hors démonstrations sélectionnées. Les utilisateurs auront besoin de savoir si le modèle conserve réellement les traits d’une personne à partir d’une photo, s’il respecte fidèlement les consignes et dans quelle mesure il parvient à produire une vidéo stable, avec un son pertinent.

Les règles d’usage seront tout aussi déterminantes. Une éventuelle intégration dans des plateformes comptant des milliards d’utilisateurs nécessiterait des protections sur les contenus représentant des personnes, les créations susceptibles d’induire le public en erreur et les œuvres protégées. La réussite de Movie Gen ne se mesurera donc pas seulement à l’effet visuel de ses vidéos, mais à sa capacité à devenir un outil créatif identifiable, contrôlable et utilisé de manière responsable.