Au MIT, Jordan Rudess improvise avec une IA et redéfinit la virtuosité musicale

Le concert ne ressemblait ni à une démonstration technique, ni à un récital traditionnel. Au MIT Media Lab, le pianiste et claviériste Jordan Rudess a laissé une intelligence artificielle prendre part à son improvisation, le temps d’un dialogue musical où les réponses de la machine pouvaient surprendre jusqu’à son partenaire humain. L’expérience, menée avec les chercheurs du Massachusetts Institute of Technology, pose une question concrète : qu’est-ce que la virtuosité lorsque l’instrumentiste partage la scène avec un système capable d’écouter, de prédire et de proposer la suite ?

En septembre 2024, une foule importante s’est réunie au MIT Media Lab pour cette performance associant Rudess, la violoniste et vocaliste Camilla Bäckman, et un modèle d’intelligence artificielle surnommé de manière informelle jam_bot. Le système, développé avec une équipe du MIT, n’était pas présenté comme un produit achevé, mais comme une œuvre en cours d’élaboration. Son ambition dépasse le simple accompagnement automatisé : il s’agit de permettre une improvisation en temps réel entre un musicien et un modèle appris à partir de son langage musical.

Un concert où l’IA répond au pianiste

Sur scène, Camilla Bäckman et Jordan Rudess communiquaient comme le font des musiciens habitués à jouer ensemble : regards, sourires, signaux et anticipation des changements. L’échange avec jam_bot obéissait à une logique différente. Il fallait à la fois écouter ce que la machine proposait, comprendre ses tendances et décider de lui laisser, ou non, de l’espace.

Lors d’un duo inspiré de Bach, Rudess jouait quelques mesures, puis laissait l’IA prolonger la séquence dans un registre baroque. Le pianiste devait alors réagir à une proposition qui découlait de ce qu’il venait de jouer, mais dont il ne connaissait pas précisément l’issue. Les expressions sur son visage, de l’étonnement à la concentration, traduisaient la part d’incertitude de l’exercice.

À la fin de la pièce, il a résumé cette expérience devant le public : « C’est une combinaison d’un immense plaisir et d’un défi véritable. » La formule est importante. Le projet ne vise pas à effacer l’effort humain derrière une automatisation fluide. Il met au contraire l’accent sur la capacité d’un interprète à garder sa direction artistique tout en intégrant une réponse imprévisible.

Pourquoi Jordan Rudess est un terrain d’essai singulier

Jordan Rudess est surtout connu du grand public du metal progressif pour son travail avec Dream Theater, groupe alors engagé dans une tournée d’automne célébrant son 40e anniversaire. Le magazine MusicRadar l’a également placé parmi les meilleurs claviéristes de l’histoire dans l’un de ses sondages. Sa pratique est toutefois plus large que cet univers : il mène une carrière solo, a récemment publié l’album « Permission to Fly », réalise des tutoriels en ligne et dirige la société de logiciels Wizdom Music.

Son parcours explique l’intérêt du MIT pour cette collaboration. Formé à l’école Juilliard dès l’âge de neuf ans, Rudess associe une base classique exigeante à une pratique développée de l’improvisation et à une curiosité constante pour les technologies musicales. Il ne découvre donc pas l’IA comme une rupture totale avec son travail, mais comme un prolongement de sa recherche d’instruments, d’interfaces et de manières nouvelles de jouer.

Au printemps 2024, le musicien a été nommé artiste en résidence au Centre MIT pour les arts, la science et la technologie, le CAST. Il a rejoint le Responsive Environments Group du Media Lab pour concevoir de nouvelles technologies musicales alimentées par l’intelligence artificielle. Ses collaborateurs directs sont Lancelot Blanchard, étudiant spécialisé dans l’IA générative, et Perry Naseck, étudiant travaillant sur les médias interactifs. Le projet est supervisé par le professeur Joseph Paradiso, dont les recherches croisent physique, ingénierie et musique.

Comment fonctionne jam_bot ?

Jam_bot repose sur une architecture de réseau de neurones appelée transformer musical. Son principe général est proche de celui des grands modèles de langage : au lieu d’anticiper le mot le plus probable à la suite d’une phrase, il estime quelles notes ou quels événements musicaux ont le plus de chances de suivre un motif donné. Dans les deux cas, le modèle apprend des régularités à partir d’exemples, puis génère une continuation à partir d’un contexte.

Lancelot Blanchard a construit le système à partir d’un modèle mis au point par une assistante professeure du MIT. Il l’a ensuite affiné avec des enregistrements de Jordan Rudess. Cette étape d’entraînement permet de rapprocher les réponses de la machine de certaines caractéristiques du jeu du pianiste. Le résultat n’est pas une copie parfaite, ni une archive qui rejouerait mécaniquement des passages existants. C’est un modèle qui tente de produire la prochaine séquence plausible à partir de ce qu’il entend.

Le défi majeur se situe dans le temps réel. En concert, une proposition musicale arrivée trop tard perd sa fonction de dialogue. Le modèle doit donc recevoir les informations jouées, les interpréter et générer une réponse avec une latence suffisamment faible pour que le musicien puisse l’intégrer à son improvisation. Il doit aussi pouvoir suivre les changements de direction : intensité, rythme, harmonies ou style de jeu.

La personnalisation du système a été pensée pour laisser une marge d’action à Rudess. Blanchard a notamment intégré des options que le pianiste peut activer pendant qu’il joue, afin de sélectionner différents modes. La maîtrise ne tient donc pas seulement à la performance au clavier : elle consiste aussi à savoir quand solliciter la machine, quel comportement lui demander et comment reprendre l’initiative.

La « virtuosité symbiotique », une autre idée du duo

Dans un texte publié par MIT Press en septembre 2024, l’équipe présente sa vision d’une « virtuosité symbiotique ». L’expression désigne une forme de duo dans laquelle l’humain et la machine s’influencent pendant l’exécution, avec l’objectif de parvenir à une musique suffisamment vivante et cohérente pour être interprétée devant un public.

Cette approche se distingue des outils qui fabriquent un morceau à partir d’une consigne textuelle, puis livrent un résultat fixe. Ici, l’IA fait partie de l’instant de jeu. Elle reçoit le geste musical du pianiste, propose une continuation, et Rudess répond à son tour. Chaque intervention modifie donc le contexte de la suivante.

Le mot « symbiotique » ne doit toutefois pas masquer l’asymétrie fondamentale de la relation. Le modèle peut calculer des suites musicales à partir de ses données et des signaux qu’il reçoit, mais il ne définit pas seul le sens d’un concert, son intention ou son rapport à une salle. C’est le musicien qui choisit le cadre, qui écoute, qui accepte ou écarte une idée et qui transforme les sorties du système en décision artistique.

Rendre la machine lisible pour le public

L’un des problèmes d’une IA musicale sur scène est sa visibilité. Avec un duo de jazz, le public voit les musiciens respirer, se tourner l’un vers l’autre, préparer une entrée ou réagir à une phrase. Un programme informatique, lui, peut rester totalement abstrait, même lorsqu’il intervient réellement dans la musique.

Perry Naseck s’est donc intéressé à la façon de donner au système une présence scénique compréhensible. Pour le concert du 21 septembre, il a conçu une installation sculpturale programmée depuis zéro au Media Lab, avec l’appui de spécialistes de la conception mécanique et de la fabrication. Placée derrière Rudess, cette sculpture était illuminée en fonction des accords joués par l’IA.

Son mouvement accompagnait également la répartition des rôles musicaux. Lorsque le pianiste prenait la main, elle se balançait doucement. Lors des accords plus majestueux générés par l’IA, elle s’ouvrait et se refermait comme une fleur. Cette mise en scène ne prétendait pas prouver que la machine ressentait la musique. Elle offrait plutôt au public un repère visuel, une manière de percevoir qu’un autre système intervenait dans la performance et d’anticiper ses prises de parole musicales.

Une IA qui apprend de la performance, sans automatiser l’artiste

Le projet soulève une interrogation souvent associée à la création générative : une IA personnalisée risque-t-elle de standardiser le jeu d’un artiste, en le renvoyant sans cesse à ses propres habitudes ? La démarche de Rudess et du MIT prend le problème dans l’autre sens. L’objectif est d’ouvrir une possibilité d’échange, pas de figer une signature sonore dans un automate.

Rudess a fourni les données nécessaires à l’entraînement, mais il a aussi testé le modèle en continu et formulé des retours. Cette boucle entre le développement technique et la pratique instrumentale est essentielle : un système qui paraît convaincant sur des séquences isolées peut devenir peu utile s’il ne respecte pas le tempo, l’écoute mutuelle et les contraintes très concrètes d’un concert.

La valeur d’un tel outil dépend donc de son intégration. Il peut être un interlocuteur pour improviser, une interface expérimentale ou, à terme, un support pédagogique. Il ne dispense pas d’apprendre la musique. Pour obtenir un dialogue intéressant, il faut au contraire être capable d’entendre une proposition, d’en évaluer la pertinence et de répondre avec intention.

Ce qu’il faut surveiller pour la suite

La résidence de Jordan Rudess au MIT touche à sa fin, mais les pistes de recherche demeurent ouvertes. Perry Naseck souhaite notamment affiner les interactions en optimisant des capteurs capables de saisir des mouvements plus subtils du musicien. Une telle évolution pourrait rendre la communication avec le système moins dépendante de commandes explicites et plus proche des gestes naturels de l’interprétation.

L’éducation musicale fait aussi partie des perspectives envisagées. Rudess estime que le modèle pourrait devenir un outil d’apprentissage pour des élèves. Dans ce cadre, l’enjeu ne serait pas de fournir automatiquement la « bonne » suite de notes, mais de créer un partenaire de pratique susceptible de répondre à une improvisation et d’encourager l’écoute.

Joseph Paradiso insiste, de son côté, sur la nécessité d’inscrire l’IA dans un cadre bénéfique pour les humains. C’est probablement le critère décisif pour évaluer ce type de projet. La prouesse technique ne suffira pas si elle réduit l’artiste à déclencher des effets prévisibles. En revanche, si les musiciens conservent des moyens de contrôle clairs et trouvent dans ces systèmes de nouvelles occasions de jouer, d’apprendre et de surprendre, l’IA pourrait élargir les formes de virtuosité plutôt que les uniformiser.