J-Moshi, l’IA japonaise qui écoute et parle en même temps, s’ouvre au public

Parler avec une machine reste souvent une expérience très réglée : l’utilisateur formule sa demande, attend la fin de sa phrase, puis reçoit une réponse. Or, une conversation humaine ne fonctionne pas ainsi. On se coupe parfois la parole, on acquiesce avant que l’autre ait terminé, on signale son attention par de courtes interjections. C’est précisément ce terrain que veut investir J-Moshi, un système de dialogue vocal en japonais conçu pour écouter et parler simultanément.

Développé au sein du Higashinaka Lab de l’Université de Nagoya, J-Moshi cherche à restituer une dimension fondamentale des conversations japonaises : les aizuchi. Ces petites réactions, telles que « Sō desu ne », que l’on peut traduire par « c’est vrai », ou « Naruhodo », « je vois », ne servent pas seulement à meubler le silence. Elles indiquent à la personne qui parle qu’elle est entendue et encouragent la poursuite de l’échange.

Rendu accessible au public, le projet constitue une étape importante pour l’IA vocale en langue japonaise. Il ne s’agit pas uniquement de faire répondre une machine dans un japonais correct, mais de l’amener à adopter un rythme conversationnel plus naturel. Derrière cette ambition se posent des questions très concrètes : comment entraîner une IA avec suffisamment de voix japonaises, comment respecter la vie privée des personnes enregistrées et, surtout, jusqu’où peut-elle gérer une interaction réelle sans l’aide d’un humain ?

Pourquoi parler et écouter en même temps change la conversation

De nombreux assistants vocaux fonctionnent selon une logique de tours de parole. L’utilisateur parle, le système détecte la fin de l’énoncé, traite la demande, puis répond. Ce schéma est efficace pour une consigne simple, comme demander un horaire ou lancer une recherche. Il devient plus rigide dès que l’échange se rapproche d’une discussion ordinaire.

Dans une conversation humaine, l’écoute est active. Un hochement de tête, un « oui », un « je comprends » ou une courte question peuvent intervenir alors que l’autre personne parle toujours. Ces signaux ne signifient pas nécessairement que l’on veut prendre la parole : ils montrent que la conversation est suivie. Les reproduire de façon appropriée est particulièrement important en japonais, où les aizuchi structurent le déroulement d’un échange.

J-Moshi a été conçu pour générer ce type de comportements. Sa particularité est donc de ne pas attendre systématiquement une fin de phrase complète avant d’agir. Il peut fournir de brèves marques d’écoute tout en continuant à analyser la voix de son interlocuteur.

Cette distinction est essentielle. Une IA qui ponctuerait mécaniquement chaque phrase par la même interjection ne converserait pas réellement mieux. Elle doit aussi déterminer le bon moment, la formulation adaptée et la place de ce signal dans le dialogue. C’est ce travail sur la temporalité, autant que sur les mots eux-mêmes, qui rend l’exercice complexe.

Comment J-Moshi a été entraîné à converser en japonais

L’équipe conduite par le professeur Ryuichiro Higashinaka s’est appuyée sur Moshi, un modèle de dialogue vocal initialement développé en anglais. L’objectif n’était pas une simple traduction du système, mais son adaptation aux caractéristiques de la conversation japonaise.

L’entraînement a duré environ quatre mois. Il a mobilisé 67 000 heures d’audio provenant notamment de podcasts et de vidéos YouTube. Les chercheurs ont aussi utilisé des données de J-CHAT, présenté comme le plus grand ensemble de dialogues japonais, collecté par l’Université de Tokyo.

Cette quantité de données donne une idée du défi. Pour qu’un système vocal soit utile, il doit reconnaître différentes façons de parler, les hésitations, les variations de rythme et des formulations moins académiques que celles des textes écrits. Pour produire une parole crédible, il doit également tenir compte de l’intonation et de l’enchaînement des répliques.

La collecte et l’exploitation de voix soulèvent cependant un problème sensible : celui de la vie privée. Les données audio peuvent contenir des informations personnelles, des voix identifiables ou des conversations qui n’étaient pas destinées à alimenter un système d’IA. Le laboratoire a notamment eu recours à des programmes d’IA capables d’isoler les voix au sein d’enregistrements audio, afin de répondre aux contraintes de constitution des jeux de données.

Les données vocales japonaises restent un défi majeur

Les grands progrès récents de l’IA conversationnelle reposent sur des volumes considérables de textes et d’enregistrements, largement disponibles en anglais. Cette abondance facilite la création de modèles généralistes et spécialisés dans cette langue. Elle ne se retrouve pas à la même échelle pour le japonais, en particulier lorsqu’il s’agit de conversations vocales authentiques et exploitables dans un cadre de recherche.

Cette situation complique le développement d’outils destinés à des domaines précis. Un système pour la santé, un centre d’appels ou l’enseignement des langues ne doit pas seulement maîtriser la grammaire. Il doit comprendre le vocabulaire métier, les habitudes de dialogue du secteur et les situations délicates où une mauvaise réponse peut avoir des conséquences importantes.

Pour les chercheurs, l’enjeu consiste donc à concilier trois objectifs parfois contradictoires : obtenir assez de données, préserver les droits et la vie privée des personnes, puis créer des modèles capables de s’adapter à un contexte d’usage réel.

Les signaux non verbaux compliquent encore l’équation. Dans certains environnements, des masques peuvent cacher une partie du visage et empêcher un système de s’appuyer sur des expressions faciales. Or, le regard, le sourire, les mouvements de tête et la posture jouent souvent un rôle dans l’interprétation d’une conversation. Une IA centrée sur l’audio doit donc faire face à une information incomplète.

De l’apprentissage du japonais aux robots d’accueil

Le premier domaine d’application évident de J-Moshi est l’apprentissage des langues. Les personnes qui apprennent le japonais peuvent mémoriser du vocabulaire et des règles de grammaire, tout en ayant plus de difficultés à acquérir le rythme d’un échange courant. Un interlocuteur artificiel qui réagit avec des aizuchi pourrait offrir un entraînement plus vivant qu’un exercice limité à des questions-réponses figées.

L’intérêt potentiel concerne aussi les centres d’appels, le service à la clientèle et certains usages médicaux. Dans ces contextes, une interaction plus fluide peut réduire la frustration associée aux interfaces vocales trop mécaniques. Mais l’adaptation ne peut pas être automatique. Les secteurs spécialisés nécessitent des données pertinentes, des règles de sécurité et une capacité à reconnaître les moments où la machine ne doit pas répondre seule.

Les expérimentations menées au NIFREL Aquarium d’Osaka illustrent cette limite. Des robots-guides peuvent prendre en charge des interactions routinières avec les visiteurs. Lorsque les demandes deviennent plus complexes, un opérateur humain doit pouvoir intervenir. Cette organisation ne présente pas l’IA comme un remplacement intégral des personnes, mais comme un premier niveau d’accueil capable de passer rapidement le relais.

Pourquoi l’humain reste indispensable dans les situations complexes

Les essais en conditions réelles montrent qu’un système de dialogue, même plus naturel, ne résout pas tous les problèmes d’interaction. Une question inattendue, une demande imprécise, une personne qui s’exprime difficilement ou une situation émotionnelle peuvent provoquer une rupture du dialogue. Dans un lieu ouvert au public, ces ratés ne sont pas seulement techniques : ils affectent directement l’expérience du visiteur.

Le Higashinaka Lab travaille donc aussi sur des systèmes de soutien aux opérateurs humains. Plusieurs axes sont mentionnés : l’analyse des conversations et la détection des ruptures de dialogue. L’idée est d’identifier rapidement les moments où l’IA ne parvient plus à conduire l’échange de manière satisfaisante, afin qu’une personne puisse reprendre la main.

Cette logique de coopération est au cœur des perspectives envisagées. Le bon objectif n’est pas nécessairement de rendre une machine autonome dans toutes les conversations. Il peut s’agir de répartir les rôles : l’IA gère les questions simples et répétitives, tandis que l’humain s’occupe des exceptions, des explications délicates et des situations demandant du jugement.

Les travaux s’inscrivent dans le projet national japonais Moonshot, qui vise notamment à améliorer la qualité des services grâce à des systèmes d’IA avancés. J-Moshi est ainsi une composante d’une recherche plus large sur les interactions entre humains et robots, au-delà du seul traitement de la voix.

Une reconnaissance scientifique attendue à Interspeech 2025

Les travaux consacrés à J-Moshi ont été acceptés à Interspeech, l’une des principales conférences internationales dédiées aux technologies de la parole. L’équipe du professeur Higashinaka doit les présenter à Rotterdam, aux Pays-Bas, en août 2025.

Cette acceptation ne signifie pas que tous les obstacles sont levés, ni que le système est prêt à remplacer un interlocuteur humain dans chaque situation. Elle confirme en revanche l’intérêt scientifique d’une approche qui traite la parole comme une activité interactive, et non comme une simple succession d’ordres vocaux.

Le projet rappelle aussi une réalité souvent négligée dans les débats sur l’IA : une conversation naturelle ne dépend pas uniquement de la puissance d’un modèle. Elle repose sur des conventions sociales, des rythmes, des silences et des signes d’écoute qui varient d’une langue à l’autre. Développer une IA vocale en japonais implique donc de prendre au sérieux ces dimensions culturelles.

Ce qu’il faut surveiller

La prochaine étape sera de savoir dans quelles conditions J-Moshi peut passer de la démonstration et de l’expérimentation à des usages fiables. Plusieurs points seront déterminants : la qualité des réactions en conversation longue, la gestion des interruptions, la capacité à repérer une demande incomprise et l’efficacité du relais vers un humain.

Il faudra également observer la manière dont les données vocales sont utilisées et protégées. Les progrès des modèles de parole rendent possible une interaction plus immédiate avec les machines, mais ils augmentent aussi la valeur et la sensibilité des enregistrements de voix.

Enfin, J-Moshi pourrait servir de référence pour d’autres systèmes vocaux conçus autour des pratiques conversationnelles locales. L’enjeu dépasse le japonais : pour paraître réellement utile, une IA ne doit pas seulement parler une langue. Elle doit aussi apprendre à en respecter les usages sociaux, les nuances et les règles implicites.