4M, le cadre open source de l’EPFL pour entraîner une IA vraiment multimodale

Comprendre une phrase, reconnaître un objet dans une image et interpréter une information sensorielle sont trois opérations que les humains combinent naturellement. Pour une intelligence artificielle, les réunir dans un même système reste beaucoup plus difficile. Les grands modèles de langage ont démontré leur efficacité sur le texte, mais le monde réel ne se présente pas sous la forme d’une succession de mots. Il est fait d’images, de mouvements, de sons, de mesures et d’interactions physiques.

C’est dans cette perspective que des chercheurs de l’École polytechnique fédérale de Lausanne, l’EPFL, ont développé 4M, un cadre open source destiné à l’entraînement de modèles d’intelligence artificielle multimodaux. Soutenu par Apple et mené au sein du Visual Intelligence and Learning Laboratory, ou VILAB, ce projet ambitionne de faciliter l’apprentissage à partir de plusieurs types d’informations, plutôt que de demander à un modèle de ne traiter qu’un seul langage de données.

L’enjeu dépasse la simple ajout d’images à un assistant conversationnel. Il s’agit de construire des outils capables de mettre en relation des informations de nature différente pour produire une compréhension plus riche d’une scène, d’un objet ou d’un phénomène. Une ambition prometteuse, mais qui se heurte encore à des limites techniques et scientifiques importantes.

4M, un cadre pour aller au-delà des modèles centrés sur le texte

Le nom 4M signifie Massively Masked Multimodal Modeling, que l’on peut traduire par modélisation multimodale à masquage massif. Il désigne un cadre de travail ouvert aux chercheurs et développeurs qui souhaitent entraîner des systèmes capables d’exploiter différentes modalités, c’est-à-dire différentes formes de données.

Le texte est une modalité. Une photographie en est une autre. Une vidéo, une mesure de profondeur, une donnée tactile ou encore un signal issu d’un capteur peuvent également devenir des modalités, à condition que le modèle et les données d’entraînement permettent de les traiter. L’intérêt d’une IA multimodale est précisément de ne pas analyser ces éléments comme des silos complètement séparés.

Les modèles linguistiques ont rendu visibles les progrès de l’IA générative auprès du grand public. Un outil comme ChatGPT est particulièrement à l’aise avec le langage, car il a été entraîné à repérer les relations statistiques entre les mots et à générer du texte. Mais comprendre le monde physique demande d’autres repères. Pour décrire correctement une image, par exemple, il faut relier des formes, des objets, leur position et parfois le contexte fourni par une consigne écrite.

Pour Amir Zamir, professeur assistant à l’EPFL et responsable du VILAB, cette capacité à croiser les modalités est essentielle afin de mieux appréhender l’environnement physique. Les images et les sensations tactiles illustrent deux sources d’information complémentaires : la première renseigne notamment sur l’apparence et la disposition des objets, la seconde sur leur texture ou leur résistance.

Pourquoi l’apprentissage multimodal est-il si difficile ?

Faire apprendre plusieurs modalités à un modèle ne revient pas à empiler plusieurs jeux de données. Chaque type d’information possède sa propre structure. Le texte est généralement découpé en unités appelées tokens. Une image est composée de pixels ou de régions visuelles. Une vidéo ajoute une dimension temporelle. Des données issues de capteurs peuvent suivre d’autres formats encore.

Le premier défi consiste à représenter ces données dans un langage mathématique que le modèle peut traiter sans perdre les informations importantes. Le second est de les relier correctement. Une légende textuelle peut décrire seulement une petite partie d’une image. Une mesure tactile n’est utile que si elle est associée au bon objet et au bon moment. Lorsque ces correspondances sont imprécises, le système risque d’apprendre des associations fragiles ou trompeuses.

Les tentatives antérieures d’entraîner un même modèle sur un très grand nombre de modalités se sont souvent accompagnées de baisses de performance. Un modèle spécialisé dans une tâche précise peut alors obtenir de meilleurs résultats qu’un système généraliste. C’est un arbitrage classique en IA : plus un outil veut couvrir de situations, plus il doit éviter de diluer ses capacités.

Les difficultés peuvent être résumées ainsi :

Ces obstacles expliquent pourquoi les interfaces et méthodes d’entraînement traditionnelles ne suffisent pas toujours. Elles peuvent traiter le langage, l’image ou la vidéo, tout en accordant insuffisamment d’attention aux signaux que certaines modalités apportent. Or, dans une application scientifique, ce signal négligé peut être précisément celui qui compte le plus.

Le principe du masquage massif au cœur de 4M

L’originalité de 4M tient à son recours au masquage massif. Le principe général est pédagogique : durant l’entraînement, une partie des informations disponibles est volontairement cachée au modèle. Celui-ci doit alors prédire ou reconstruire les éléments manquants à partir du contexte qui lui reste accessible.

Dans un texte, cela peut revenir à retrouver un mot absent grâce au sens de la phrase. Dans une image, le modèle peut devoir inférer le contenu d’une zone cachée à partir des parties visibles. Dans un cadre multimodal, l’exercice devient plus riche : un élément visuel peut apporter un indice pour interpréter une information textuelle, ou inversement.

Cette méthode ne donne pas magiquement au système une connaissance fiable du monde. Elle lui impose en revanche un entraînement qui valorise les relations entre les données. Au lieu de mémoriser uniquement une réponse pour une tâche étroite, le modèle est encouragé à exploiter le contexte disponible pour combler les informations manquantes.

Le mot massivement dans 4M souligne l’ampleur de ce masquage pendant l’apprentissage. L’objectif est d’amener le modèle à travailler avec des fragments d’information plutôt qu’avec des données complètes et parfaitement balisées. C’est une réponse aux limites des approches où chaque tâche et chaque modalité sont traitées séparément.

Cette logique reste toutefois exigeante. Pour que le modèle apprenne des liens utiles, les données doivent être suffisamment cohérentes, diversifiées et pertinentes. Le masquage ne corrige ni des jeux de données mal documentés, ni des biais présents dans les exemples d’entraînement.

Modèle de langage et modèle multimodal : ce qui change réellement

Un modèle de langage et un modèle multimodal peuvent tous deux produire du texte, répondre à une question ou résumer une information. Leur différence ne se réduit pas à l’ajout d’un bouton permettant de téléverser une image. Elle concerne la manière dont le système est entraîné à relier plusieurs sources de données.

L’approche de 4M ne prétend pas rendre les modèles linguistiques inutiles. Le langage reste une interface essentielle pour donner une consigne, annoter des données ou restituer une analyse. L’ambition est plutôt de ne plus le traiter comme la seule porte d’entrée vers l’intelligence artificielle.

Dans le cas d’une image accompagnée d’un texte, par exemple, la valeur du système dépend de sa capacité à éviter deux écueils : ignorer l’image et répondre uniquement à partir de la formulation écrite, ou regarder l’image sans comprendre ce que la question demande. Le véritable défi est donc l’intégration, pas la juxtaposition.

Pourquoi l’open source compte dans ce projet

Le choix de l’open source est central dans la démarche présentée par l’équipe. Mettre un cadre à disposition permet à d’autres chercheurs de l’examiner, de l’adapter et de l’utiliser avec leurs propres données. Pour des domaines spécialisés, cette flexibilité est particulièrement importante : un laboratoire travaillant sur des données biomédicales n’a pas les mêmes besoins qu’une équipe qui étudie le climat.

L’objectif du VILAB est de développer une architecture générique pouvant être adaptée par des experts de différents secteurs. Cette approche peut accélérer l’expérimentation, car elle évite à chaque équipe de repartir de zéro pour construire une infrastructure d’entraînement multimodale.

L’ouverture ne signifie pas pour autant qu’un projet devient immédiatement simple à employer. L’entraînement de grands modèles exige des compétences en programmation, en traitement des données et en apprentissage automatique. Il peut aussi nécessiter des ressources de calcul importantes. Les chercheurs qui réutilisent un cadre doivent également contrôler la qualité, la représentativité et les droits d’usage de leurs données.

Des applications possibles, de la biomédecine au climat

Les domaines cités par l’équipe, notamment la recherche biomédicale et la modélisation climatique, illustrent l’intérêt potentiel de systèmes capables de rapprocher plusieurs formes de données. Dans ces secteurs, une information utile est rarement isolée : une image peut être interprétée avec des mesures, des descriptions, des séries temporelles ou des observations de terrain.

En biomédecine, le potentiel ne dispense pas des précautions indispensables. Les données peuvent être sensibles, complexes et soumises à des règles de confidentialité. Un modèle multimodal pourrait aider à explorer des relations entre plusieurs sources, mais il ne peut se substituer à la validation scientifique, aux professionnels de santé ni aux procédures de contrôle requises.

Dans l’étude du climat, la situation est comparable. Croiser des observations, des images et d’autres données environnementales peut enrichir l’analyse d’un phénomène. Mais la pertinence du résultat dépendra des données choisies, des méthodes d’évaluation et de la capacité des spécialistes à interpréter les sorties du modèle.

L’intérêt de 4M se situe donc autant dans l’infrastructure qu’il propose que dans les applications qui pourront être explorées grâce à elle. Un cadre commun peut rendre plus accessible le prototypage d’outils multimodaux, sans garantir à lui seul qu’ils seront fiables dans tous les contextes.

Une représentation unifiée reste à démontrer

L’un des points les plus intéressants du projet tient à la prudence de ses chercheurs. Malgré les avancées de 4M, la représentation véritablement unifiée entre différentes modalités ne s’est pas encore pleinement matérialisée. En d’autres termes, obtenir des résultats qui semblent cohérents ne prouve pas automatiquement qu’un modèle a construit une compréhension commune et solide du texte, de l’image et des autres signaux.

Amir Zamir soulève une hypothèse importante : un système multimodal pourrait, dans certains cas, fonctionner comme un assemblage de mécanismes relativement indépendants. Chacun résoudrait une partie du problème, donnant l’impression d’une harmonie globale sans partager nécessairement une représentation profonde du monde.

Cette distinction est décisive. Si un modèle traite les modalités séparément avant de combiner leurs réponses à la fin, il pourrait être performant sur des cas connus tout en se révélant moins robuste face à des situations nouvelles. À l’inverse, une représentation plus intégrée pourrait permettre de mieux transférer des connaissances d’une modalité à l’autre. C’est précisément l’un des objectifs de recherche qui reste ouvert.

Ce qu’il faut surveiller pour 4M et l’IA multimodale

Au début de 2025, 4M illustre une direction majeure de la recherche en IA : concevoir des modèles moins dépendants du seul langage et davantage ancrés dans des données décrivant le monde physique. Le projet ne doit pas être lu comme l’annonce d’une IA qui percevrait son environnement comme un humain, mais comme une tentative concrète d’améliorer l’entraînement multimodal.

Plusieurs questions détermineront sa portée. La première concerne la facilité avec laquelle des équipes extérieures pourront adapter le cadre à leurs propres jeux de données. La deuxième porte sur les évaluations : il faudra mesurer les performances sur des tâches variées, y compris lorsque les informations sont incomplètes ou contradictoires. La troisième concerne la structure même des modèles, afin de déterminer s’ils apprennent réellement des représentations partagées entre les modalités.

Enfin, les usages scientifiques et industriels devront être examinés avec les exigences propres à chaque domaine. L’ouverture du code favorise la collaboration et l’expérimentation. Elle renforce aussi la nécessité de documenter les données, les limites et les conditions dans lesquelles un modèle donne des résultats fiables. C’est à cette condition que des cadres comme 4M pourront transformer une promesse de recherche en outils réellement utiles.