Robot Drummer : un humanoïde apprend les gestes d’un batteur avec l’IA

Faire jouer de la batterie à un robot humanoïde ne consiste pas seulement à lui faire frapper un tambour au bon moment. Il doit atteindre plusieurs éléments d’une batterie, coordonner ses deux bras, contrôler ses baguettes et conserver le rythme sans compromettre son équilibre. C’est ce défi, à la frontière de la robotique et de la création musicale, qu’ont relevé des chercheurs de SUPSI, d’IDSIA et du Politecnico di Milano avec le projet Robot Drummer.

Présentés au début d’août 2025, leurs travaux montrent un robot capable d’apprendre des mouvements de batterie grâce à l’apprentissage par renforcement, une méthode dans laquelle un système progresse en essayant des actions et en recevant un signal de récompense selon leur résultat. Testée sur l’humanoïde G1 de Unitree, cette approche a produit des gestes qui rappellent certaines techniques de batteurs : coups croisés, anticipation des frappes ou ajustement des baguettes en cours de jeu.

L’intérêt de la démonstration dépasse le simple effet spectaculaire d’un robot derrière une batterie. Les instruments de percussion imposent des interactions rapides et répétées avec des objets physiques. Ils constituent donc un terrain d’essai exigeant pour apprendre à une machine à agir avec précision dans un environnement concret, où chaque contact compte.

Robot Drummer, un projet pour sortir les humanoïdes des tâches répétitives

Les robots humanoïdes sont souvent conçus pour des tâches de manipulation, de déplacement ou d’assistance : saisir un objet, transporter une charge, ouvrir une porte, par exemple. Jouer d’un instrument introduit une difficulté supplémentaire. Le succès ne dépend pas seulement du fait d’atteindre une cible, mais aussi du moment de l’impact, de l’enchaînement des gestes et de la coordination entre les membres.

Dans le cas d’une batterie, une même séquence peut demander de passer rapidement d’un tom à une caisse claire, d’une cymbale à une autre, ou de croiser les bras pour exécuter une figure particulière. La machine doit donc décider quelle baguette doit toucher quel élément et à quel instant. Une frappe correcte mais tardive reste une erreur musicale.

C’est précisément l’ambition de Robot Drummer : dépasser l’exécution d’un mouvement isolé pour s’attaquer à une action rythmique complète. Le projet ne prétend pas que le robot possède la sensibilité musicale ou l’intention créative d’un interprète humain. Il montre plutôt qu’un système d’apprentissage peut découvrir des stratégies motrices efficaces pour atteindre un objectif musical défini.

Comment l’apprentissage par renforcement lui apprend-il à jouer ?

L’apprentissage par renforcement repose sur un principe simple : un agent choisit une action, observe le résultat, puis reçoit une récompense plus ou moins élevée. À force d’essais, il modifie sa stratégie pour privilégier les décisions qui améliorent son score. Dans Robot Drummer, la récompense est liée à la qualité de l’exécution rythmique.

Les chercheurs s’appuient sur une chaîne de contacts rythmiques. Autrement dit, le robot reçoit des indications sur les instants et les éléments de batterie à frapper. À partir de ces objectifs, il doit produire des trajectoires réalistes et physiquement possibles pour ses bras et ses baguettes.

L’entraînement se déroule dans un environnement simulé. Cette étape est essentielle : répéter un très grand nombre d’essais directement avec un humanoïde réel serait long, coûteux et risqué pour le matériel. Dans le simulateur, le robot peut explorer de nombreux mouvements, y compris des tentatives imparfaites, afin de comprendre progressivement quelles séquences lui permettent de respecter le mieux le rythme demandé.

Le principe peut être résumé ainsi :

Cette méthode ne revient pas à programmer manuellement chaque geste comme dans une chorégraphie figée. Les concepteurs définissent un objectif et un mécanisme d’évaluation, puis l’algorithme cherche des solutions motrices performantes. C’est dans ce cadre que certains comportements qualifiés d’humanoïdes ont émergé.

Quels comportements proches de ceux d’un batteur humain ont émergé ?

Les travaux rapportent plusieurs stratégies que l’on associe volontiers au jeu d’un batteur expérimenté. Le robot a appris à planifier ses frappes, à effectuer des coups croisés et à réajuster ses baguettes en temps réel. Ces comportements n’ont pas nécessairement été prescrits un à un dans les consignes : ils sont apparus comme des moyens efficaces de maximiser la récompense rythmique obtenue pendant l’entraînement.

Le coup croisé illustre bien la complexité du problème. Dans certaines figures, un batteur passe un bras au-dessus de l’autre afin d’atteindre l’élément approprié sans casser la continuité du rythme. Pour un humanoïde, ce geste exige de tenir compte de la portée des bras, de la position des baguettes et du risque de collision entre ses propres membres.

Le réajustement des baguettes est tout aussi significatif. Une baguette qui n’est plus orientée correctement peut réduire la qualité de la frappe suivante. Le système doit alors corriger son mouvement alors même que la séquence musicale continue. Ce type de correction rapproche la démonstration d’une véritable tâche de contrôle dynamique, plutôt que de la répétition d’une pose préenregistrée.

Il faut toutefois employer le terme « humain » avec précision. Les gestes observés sont semblables dans leur fonction à ceux adoptés par des musiciens, parce qu’ils permettent d’atteindre efficacement des cibles rythmiques. Ils ne prouvent pas que la machine comprend la musique, éprouve une émotion ou forme une intention artistique. L’intérêt scientifique est justement de constater que des contraintes physiques et des objectifs bien formulés peuvent faire émerger des solutions motrices élaborées.

Plus de 90 % de précision rythmique sur des morceaux connus

Les chercheurs ont transféré leur technologie sur le G1, un robot humanoïde de Unitree. Ils lui ont appris à jouer des morceaux relevant de plusieurs genres, du jazz au rock et au métal. Parmi les titres cités figure « In the End » de Linkin Park.

Selon les résultats présentés, les performances du robot ont atteint une précision rythmique supérieure à 90 %. Ce chiffre indique que le système parvient, dans les conditions des essais décrits, à respecter avec une forte régularité les événements rythmiques attendus. Il est particulièrement intéressant dans la mesure où les morceaux retenus comportent des structures complexes et demandent de coordonner de nombreuses frappes.

Cette mesure doit néanmoins être lue pour ce qu’elle est. Une précision rythmique supérieure à 90 % ne résume pas à elle seule toutes les dimensions d’une prestation musicale. Chez un batteur, la qualité perçue comprend aussi les nuances de jeu, le timbre produit, les variations volontaires de tempo, l’écoute des autres interprètes et le sens de la dynamique collective. Ces aspects ne sont pas établis par la démonstration décrite.

En revanche, atteindre ce niveau de précision sur une plateforme humanoïde constitue une avancée technique utile. Le robot ne contrôle pas seulement des bras dans le vide : il doit produire une séquence de contacts mécaniques avec une batterie, selon un rythme imposé et avec une coordination suffisamment fiable pour être reconnaissable musicalement.

Pourquoi passer de la simulation à une batterie réelle est un défi

L’entraînement simulé permet d’accélérer les essais, mais il ne reproduit jamais parfaitement le monde physique. Une batterie réelle comporte de petites variations : rebond d’une baguette, vibrations, déplacement infime d’un élément, caractéristiques des peaux et des cymbales, ou effets d’un contact légèrement décalé. La machine doit aussi composer avec les limites matérielles de ses moteurs et de ses articulations.

Les perspectives évoquées par l’équipe incluent donc l’acclimatation des compétences acquises dans le simulateur à des dispositifs réels. Cette étape est souvent désignée en robotique comme le passage de la simulation au réel. Elle vise à conserver, sur la machine physique, les capacités apprises virtuellement malgré les différences inévitables entre les deux environnements.

Pour un batteur robotique, l’enjeu est double. Il faut maintenir la précision rythmique tout en intégrant les retours concrets liés aux impacts. Et il faut le faire sans perdre la fluidité des gestes : une correction trop lente ou trop brutale peut suffire à rompre une séquence musicale.

L’improvisation reste l’objectif le plus ambitieux

La prochaine étape visée par les chercheurs est l’improvisation. L’idée serait d’apprendre au robot à adapter son style de jeu à des indices musicaux, afin qu’il puisse répondre de manière dynamique à ce qu’il entend ou à ce que jouent d’autres musiciens.

Une telle capacité serait nettement plus complexe que l’interprétation d’un morceau préparé. Elle demanderait d’abord de percevoir des informations musicales pertinentes, comme le tempo, les changements de section ou les signaux émis par les autres interprètes. Le robot devrait ensuite choisir une réponse appropriée, puis l’exécuter avec ses contraintes mécaniques, le tout en temps réel.

À ce stade, il s’agit bien d’une orientation de recherche. Robot Drummer a été entraîné à jouer des séquences spécifiques et ses comportements moteurs émergent dans le cadre de cet apprentissage. La capacité à improviser ou à adapter spontanément son jeu à une scène vivante n’est pas présentée comme acquise.

Cette distinction importe aussi pour la place des robots dans la création. Une machine peut devenir un partenaire d’expérimentation, un instrument de performance ou un outil de recherche sur le geste, sans remplacer la richesse d’un musicien humain. Les futures collaborations pourraient être les plus intéressantes lorsque le robot apporte une forme de précision, de répétabilité ou de présence scénique inédite, tandis que les artistes gardent la direction musicale.

Ce qu’il faut surveiller dans la robotique musicale

Robot Drummer confirme que la musique peut servir de banc d’essai exigeant pour les humanoïdes. Les compétences mobilisées, anticipation, coordination bimanuelle, contrôle des contacts et réaction aux erreurs, sont transférables à bien d’autres activités physiques. Un robot qui apprend à frapper une batterie au bon moment travaille aussi des capacités utiles à la manipulation fine d’objets.

Pour que ces systèmes trouvent une place dans des performances réelles, plusieurs progrès devront être observés. Le premier concerne la robustesse du transfert de la simulation au matériel. Le deuxième porte sur l’adaptation aux variations imprévues : un tempo qui change, une baguette qui glisse, un instrument placé différemment. Le troisième touche à l’interaction musicale elle-même, c’est-à-dire la faculté d’écouter, de répondre et éventuellement d’improviser avec des humains.

Le projet des équipes de SUPSI, d’IDSIA et du Politecnico di Milano ne transforme donc pas encore l’humanoïde G1 en musicien autonome. Il apporte une démonstration plus précise et plus intéressante : avec l’apprentissage par renforcement, un robot peut faire émerger des techniques de jeu complexes afin de tenir un rôle rythmique cohérent. Pour la robotique comme pour les arts de la scène, c’est une piste à suivre de près.