Sujet
Tous les articles d’Actu.ai consacrés à IA multimodale : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 16 articles
SoundHound AI présente Vision AI, une technologie qui associe reconnaissance vocale et analyse d’un flux vidéo en direct. L’objectif est de permettre à un assistant de comprendre ce que l’utilisateur regarde autant que ce qu’il demande, dans une voiture, un restaurant ou un environnement professionnel.
Présenté lors de Google I/O 2025, Gemma 3n est un modèle multimodal de Google DeepMind pensé pour les appareils aux ressources limitées. Grâce à une architecture qui réduit son empreinte mémoire, il promet de traiter texte et images localement, tout en préparant la prise en charge de l’audio et de la vidéo.
Meta veut faire évoluer ses systèmes d’intelligence artificielle vers des interactions capables de comprendre plusieurs formats d’information et d’agir en plusieurs étapes. Derrière les termes d’IA multimodale et agentique se dessinent des modèles plus spécialisés, mais aussi des défis techniques, éthiques et industriels importants.
Google étend gratuitement les fonctions visuelles de Gemini Live aux utilisateurs d’Android. En partageant la vue de leur caméra ou leur écran, ils peuvent interroger l’assistant à voix haute pour résoudre un problème, organiser un espace ou comparer des produits. Il ne s’agit pas d’un service de streaming vidéo classique.
Meta a présenté Llama 4, une nouvelle famille de modèles capables de traiter du texte et des images. Scout vise les très longs documents, Maverick l’assistance polyvalente et Behemoth les tâches les plus exigeantes. Mais, au 8 avril 2025, l’accès des développeurs européens reste bloqué par les conditions de licence.
Google élargit sa famille Gemma avec quatre modèles capables, selon leur taille, de traiter du texte et des images. Gemma 3 promet une IA plus facile à déployer sur des appareils variés, sans renoncer à un long contexte ni aux usages multilingues. Voici ce que les développeurs peuvent réellement en attendre.
Google a présenté Gemma 3, une nouvelle famille de modèles d’intelligence artificielle ouverts, déclinée de 1 à 27 milliards de paramètres. Multimodale, multilingue et pensée pour fonctionner localement selon sa taille, elle ambitionne de rendre des capacités avancées plus accessibles aux développeurs et aux entreprises.
Google lance Gemma 3, une famille de modèles à poids ouverts issue des travaux de Gemini. De 1 à 27 milliards de paramètres, elle mise sur la vision, un contexte long et une exécution possible sur un seul GPU, avec des compromis à comprendre avant tout déploiement.
Microsoft AI, l’organisation dirigée par Mustafa Suleyman, accueille trois anciens chercheurs de Google DeepMind : Marco Tagliasacchi, Zalán Borsos et Matthias Minderer. Leurs expertises en audio et en vision doivent contribuer à bâtir le nouveau pôle suisse du groupe, dans une compétition mondiale pour les talents de l’IA.
Conçu par des chercheurs de l’UCLA, TeamCraft transforme Minecraft en terrain d’essai pour les IA qui doivent travailler en équipe. Ses 55 000 variantes de missions mesurent la planification, la perception et la coordination d’agents dotés d’indices textuels et visuels.
Développé à l’EPFL avec le soutien d’Apple, 4M est un cadre open source pour entraîner des modèles sur plusieurs formes de données. Son approche de masquage massif entend rapprocher texte, images et informations sensorielles, tout en laissant aux chercheurs la possibilité d’adapter l’outil à des usages scientifiques spécialisés.
Texte, image, vidéo, sons et capteurs peuvent donner aux robots un contexte bien plus riche qu’une simple instruction écrite. Les modèles multimodaux et les LLM capables de planifier ouvrent des pistes prometteuses pour les gestes délicats, à condition de ne pas confondre compréhension du langage, entraînement des données et contrôle sûr d’une machine.
Faire dialoguer la prédiction du prochain mot et la génération vidéo pourrait donner aux robots une compréhension plus fine de leur environnement. Cette approche multimodale promet d’aligner langage, images et mouvement, mais elle pose aussi des défis concrets de fiabilité, de calcul et de respect de la vie privée.
Un robot utile ne doit pas seulement reconnaître des objets, il doit relier ce qu’il voit à ce qui est dit et à ce qui va se produire. La recherche explore pour cela l’alliance entre prédiction linguistique et modèles génératifs de vidéo, une voie prometteuse mais exigeante pour la robotique d’assistance.
Avec Llama 3.2, dévoilé le 25 septembre 2024, Meta introduit des modèles capables d’interpréter à la fois une image et une consigne écrite. La famille comprend aussi deux versions textuelles légères, pensées pour rapprocher certaines fonctions d’IA des téléphones et autres appareils.
OpenAI déploie GPT-4o dans ChatGPT, y compris pour les utilisateurs gratuits, avec des échanges plus fluides en texte et en image. Le nouveau modèle doit aussi faire une place centrale à la voix. Cette ouverture élargit l’accès à l’IA générative, sans faire disparaître les limites d’usage, de fiabilité et de confidentialité.
