Fugatto de Nvidia, l’IA qui compose et transforme la musique à partir de consignes

Créer une ambiance sonore à partir d’une phrase, transformer un air de piano en voix chantée ou modifier l’émotion d’une interprétation : ce sont les démonstrations avancées par Nvidia avec Fugatto, présenté le 25 novembre 2024. Ce modèle d’intelligence artificielle générative ne se limite pas à produire de la musique. Il ambitionne de manipuler plusieurs composantes de l’audio, des instruments aux voix en passant par les bruitages, à partir d’instructions écrites et d’extraits fournis par l’utilisateur.

L’annonce illustre l’accélération de l’IA générative dans la création sonore. Après les images, le texte et la vidéo, l’audio devient à son tour un terrain d’innovation majeur. Pour les musiciens, producteurs, concepteurs sonores ou créateurs de jeux vidéo, l’intérêt n’est pas nécessairement de déléguer une œuvre entière à une machine. Il peut aussi consister à trouver une idée, créer une maquette, explorer une texture ou accélérer certaines tâches de production. Cette perspective soulève toutefois des questions concrètes : sur quelles données ces systèmes apprennent-ils, qui contrôle l’usage des voix, et comment les artistes sont-ils crédités ou rémunérés ?

Fugatto, un modèle pour générer et modifier l’audio

Le nom Fugatto signifie Foundational Generative Audio Transformer Opus 1. Nvidia décrit son système comme un modèle fondamental pour l’audio, c’est-à-dire une technologie conçue pour accomplir plusieurs tâches plutôt qu’un outil spécialisé dans un seul usage. Avec 2,5 milliards de paramètres, Fugatto peut générer des sons depuis une consigne textuelle, mais aussi agir sur un son existant.

Dans les exemples donnés par Nvidia, un utilisateur peut demander une séquence musicale décrite en langage courant, créer une ambiance précise ou modifier le rendu d’un extrait. La promesse est de réunir dans une même architecture des fonctions qui sont souvent séparées : génération de musique, synthèse et transformation de voix, création d’effets sonores, ou encore édition audio guidée par le texte.

L’enjeu est important car le son est rarement un matériau unique. Une scène de film mêle par exemple dialogues, musique, sons d’ambiance et bruitages. Un morceau en cours de composition peut associer une mélodie, une ligne de basse, des percussions et une voix. Un modèle capable d’agir sur ces éléments, seuls ou combinés, pourrait fluidifier le passage entre l’idée et une première ébauche sonore.

Comment fonctionne l’IA musicale de Nvidia ?

Fugatto repose sur une famille de réseaux de neurones appelée « transformer », aujourd’hui très utilisée pour les grands modèles de langage et les systèmes génératifs. Son principe général est d’apprendre les relations entre de grandes quantités de données afin de produire un résultat cohérent avec une demande. Dans l’audio, cela revient à modéliser des caractéristiques complexes : rythme, timbre d’un instrument, intonation d’une voix, environnement sonore, dynamique ou succession de notes.

Le modèle interprète deux types de signaux. Le premier est une instruction écrite, par exemple la description d’une ambiance ou d’un changement souhaité. Le second peut être un extrait audio qui sert de point de départ. Nvidia met particulièrement en avant la capacité du système à combiner plusieurs consignes, y compris pour des associations qui ne correspondraient pas à une tâche unique apprise de manière explicite.

Cette souplesse est parfois qualifiée de capacité « émergente » : le modèle parvient à répondre à des demandes composées grâce aux régularités repérées pendant son entraînement. Cela ne signifie pas qu’il comprend la musique comme un humain, avec une intention artistique ou une expérience sensible. Il produit des signaux audio en calculant les suites les plus plausibles au regard de sa consigne et des exemples sur lesquels il a été entraîné.

Nvidia insiste également sur le rôle de son infrastructure de calcul dans le développement de modèles génératifs de très grande taille. Mais il faut distinguer la puissance des plateformes matérielles du groupe de la taille de Fugatto lui-même : le modèle annoncé compte 2,5 milliards de paramètres, et non des milliers de milliards.

Peut-on utiliser Fugatto dès maintenant ?

Non, du moins pas comme un service ouvert comparable à certaines applications grand public de musique générative. Au moment de sa présentation, Nvidia explique ne pas prévoir de publier immédiatement Fugatto. L’entreprise choisit de communiquer sur ses travaux de recherche et sur les capacités observées, tout en soulignant les risques d’usage abusif inhérents aux outils capables de produire ou de modifier des voix et des sons réalistes.

Cette prudence a une conséquence directe : il est trop tôt pour présenter Fugatto comme un logiciel de production accessible à tous les musiciens. Les démonstrations décrivent des possibilités techniques, pas un produit commercial disponible, avec un tarif, une interface et des conditions d’utilisation publiques.

Cette distinction compte aussi pour évaluer la portée de l’annonce. Un modèle de recherche peut ouvrir de nouvelles pistes sans devenir immédiatement un standard de studio. Entre la publication d’une démonstration et l’intégration dans des logiciels utilisés quotidiennement par des artistes, il faut résoudre des questions de qualité sonore, de contrôle créatif, de rapidité, de licences et de sécurité.

Une aide à la création, pas un remplacement automatique des artistes

L’IA générative peut intervenir à différentes étapes du travail musical. Elle peut proposer une base rythmique, suggérer une texture, fournir une ambiance temporaire pour une vidéo ou aider à expérimenter plusieurs directions. Pour un ingénieur du son, un outil de transformation peut aussi servir à simuler une idée avant d’enregistrer une version définitive. Pour un enseignant, il pourrait devenir un support pour expliquer l’orchestration, le montage ou les variations de timbre.

Mais composer ne se résume pas à assembler des sons techniquement crédibles. Un artiste fait des choix, construit une intention, dialogue avec un public, interprète et inscrit son travail dans une culture. Un résultat généré peut constituer un point de départ utile sans remplacer ces dimensions humaines.

Le principal intérêt de Fugatto se situe donc dans le contrôle fin de l’audio. Si cette promesse se vérifie dans des conditions réelles, des créateurs pourraient demander des modifications ciblées plutôt que recommencer une production de zéro. Cela pourrait faire gagner du temps sur certaines tâches répétitives, mais aussi multiplier les versions possibles d’une même idée. Cette abondance pose à son tour une difficulté : savoir sélectionner, éditer et assumer des choix artistiques devient encore plus déterminant.

Voix, droit d’auteur : les questions que l’IA audio rend urgentes

La création musicale par IA ne soulève pas seulement une question esthétique. Elle touche aux droits et aux revenus d’un secteur où auteurs, interprètes, musiciens, producteurs et plateformes interviennent à des titres différents. Pour produire des résultats convaincants, un modèle doit être entraîné sur d’importants volumes de données. L’origine de ces données, les autorisations obtenues et les modalités de rémunération éventuelle sont donc des sujets centraux.

La voix est un point particulièrement sensible. Une voix peut être immédiatement reconnaissable, associée à l’identité et à la réputation d’un interprète. Les outils capables de la modifier ou d’en générer une imitation peuvent servir à des usages légitimes, comme le doublage encadré, l’accessibilité ou le prototypage. Ils peuvent également faciliter des imitations trompeuses si des garde-fous suffisants ne sont pas appliqués.

En novembre 2024, le cadre juridique reste fragmenté selon les pays et les situations. Le droit d’auteur peut protéger une œuvre originale, mais il ne résout pas à lui seul toutes les questions liées aux données d’entraînement, à la qualité d’auteur d’un contenu généré ou à la reproduction d’une voix. Les contrats, le droit à l’image ou à la personnalité, ainsi que les règles relatives aux données, peuvent aussi entrer en jeu.

Pour les créateurs, la prudence consiste notamment à conserver les traces de leur travail, à vérifier les conditions de licence des outils et à ne pas utiliser sans autorisation des enregistrements, des paroles ou des voix appartenant à des tiers. Pour les entreprises qui développent ces modèles, l’enjeu est de documenter plus clairement les données et les règles d’usage, afin de bâtir une confiance indispensable à une adoption durable.

Nvidia face aux autres outils de musique générative

Nvidia n’est pas la seule entreprise à explorer ce domaine. Des acteurs comme Aiva proposent déjà des outils de composition assistée, tandis que Suno fait partie des services qui ont popularisé la génération de chansons à partir de descriptions textuelles. Ces solutions ne recouvrent pas exactement les mêmes usages : certaines visent principalement la création de morceaux, d’autres la production de bandes-son, la synthèse vocale ou les effets audio.

La particularité mise en avant par Fugatto est sa polyvalence : partir du texte, partir d’un son, transformer un son et combiner ces approches dans un même modèle. Cette orientation pourrait intéresser les professionnels de l’audiovisuel et du jeu vidéo autant que les musiciens. Dans ces secteurs, la demande porte souvent sur des éléments précis, comme adapter l’ambiance d’une scène, produire une version provisoire d’un bruitage ou générer des variations rapidement.

Il reste cependant difficile de comparer les résultats de ces systèmes sans protocole indépendant, sans accès généralisé au modèle et sans connaître en détail les données utilisées pour l’entraînement. La qualité perçue ne dépend pas seulement du réalisme du son : elle dépend aussi de la capacité à respecter une demande, à éviter les artefacts, à fournir un contrôle précis et à offrir un cadre juridique clair.

Ce qu’il faut surveiller après l’annonce de Fugatto

La première question sera celle de la disponibilité. Nvidia devra préciser si Fugatto reste un projet de recherche, s’il est proposé à des partenaires professionnels ou s’il fait l’objet d’une diffusion plus large. La forme de cet accès déterminera largement les usages possibles, les mécanismes de sécurité et la manière dont les créateurs pourront l’évaluer.

La deuxième concerne la transparence. Les artistes et les ayants droit attendent des réponses sur les données d’entraînement, les dispositifs destinés à prévenir l’imitation non consentie d’interprètes et les règles applicables aux contenus générés. Ces éléments ne relèvent pas d’un détail technique : ils conditionnent l’acceptabilité de ces outils dans la musique.

Enfin, il faudra observer la place réellement prise par l’IA dans les pratiques créatives. Fugatto montre que la frontière entre générer, éditer et transformer un son devient de plus en plus poreuse. La technologie peut élargir la palette des créateurs, à condition qu’elle s’accompagne d’un contrôle humain réel, de règles compréhensibles et d’un respect tangible du travail des artistes.