Sujet
Tous les articles d’Actu.ai consacrés à Modèles multimodaux : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 9 articles
Alibaba présente Qwen3-ASR-Flash, un modèle de reconnaissance vocale conçu sur Qwen3-Omni. D’après les résultats communiqués en août 2025, il réduit fortement les erreurs en mandarin, en anglais accentué et dans la reconnaissance de paroles, tout en promettant une contextualisation plus simple.
Faire fonctionner une IA sur un appareil peu puissant impose souvent d’alléger son architecture. Mais retirer certaines couches peut aussi faire disparaître ses garde-fous. Des chercheurs de l’Université de Californie, Riverside, proposent une méthode de réentraînement pour que les modèles conservent leurs réflexes de sécurité après cette compression.
Dessiner une idée, ce n’est pas seulement produire une image finale : c’est aussi construire progressivement une représentation compréhensible. Avec SketchAgent, des chercheurs du MIT CSAIL et de l’Université Stanford proposent une IA capable de créer des croquis trait par trait, seule ou aux côtés d’un utilisateur.
DeepSeek présente Janus-Pro, une famille de modèles multimodaux capables de comprendre et de générer des images. Sa version à 7 milliards de paramètres affiche de solides résultats sur les tests MMBench et GenEval, devant DALL-E 3 sur ce dernier. Mais ses limites de résolution rappellent que les benchmarks ne racontent pas toute l’histoire.
Google a présenté Gemini 2.0 Flash le 11 décembre 2024, une version expérimentale de son modèle destinée notamment aux développeurs. Plus rapide que Gemini 1.5 selon l’entreprise, elle renforce le traitement du texte, des images et de l’audio, tout en préparant des agents capables d’utiliser des outils.
Amazon a présenté Nova lors de sa conférence re:Invent 2024, une famille de modèles génératifs destinée aux entreprises. Du traitement rapide de texte à la création d’images et de vidéos, AWS veut couvrir plusieurs usages avec des modèles multimodaux, personnalisables et compatibles avec plus de 200 langues.
Publié par Nvidia Research, NVLM 1.0 est une famille de modèles capables de traiter texte et images. Son plus grand modèle est présenté comme compétitif avec GPT-4o sur des évaluations visuelles, mais les tests ne suffisent pas à désigner un vainqueur universel.
Dévoilé lors de Meta Connect, Llama 3.2 élargit la famille de modèles de Meta avec deux modèles capables d’analyser des images et deux versions textuelles très compactes. Cette stratégie vise à concilier des usages visuels plus riches et une IA plus facile à exécuter sur des appareils aux ressources limitées.
Google étend les capacités multimodales de Gemini 1.5 Pro à l’audio dans Vertex AI. Le modèle peut traiter des enregistrements pour en extraire une transcription, produire un résumé ou aider à traduire un dialogue, ouvrant des usages concrets pour les réunions, cours et entretiens.
