Llama 3.2 : Meta ajoute la vision et vise l’IA sur les appareils

Le nom reste proche de Llama 3.1, mais la nouveauté est concrète : Llama 3.2 permet désormais à une partie de la famille de modèles de Meta de regarder une image et de la mettre en relation avec une question formulée en langage courant. Dévoilée le 25 septembre 2024 lors de l’événement Meta Connect, cette génération accompagne aussi l’arrivée de modèles plus petits, conçus pour fonctionner avec des ressources matérielles plus restreintes.

Pour le grand public, l’idée est simple. Au lieu de décrire laborieusement une photographie à un assistant, il devient possible de lui montrer l’image et de demander ce qu’elle contient, de résumer un document ou d’identifier un élément précis. Pour les développeurs, l’enjeu est double : intégrer la compréhension visuelle à leurs applications et exécuter certaines fonctions d’IA plus près de l’utilisateur, notamment sur un téléphone.

Quatre modèles, deux usages très différents

Llama 3.2 ne désigne pas un modèle unique, mais une famille de quatre variantes. Elles se répartissent en deux ensembles : les modèles 1B et 3B, qui traitent exclusivement du texte, et les modèles Vision 11B et 90B, qui acceptent à la fois du texte et des images en entrée.

Le chiffre accolé à chaque nom correspond approximativement au nombre de paramètres, c’est-à-dire aux valeurs numériques apprises pendant l’entraînement. Plus ce nombre est élevé, plus le modèle demande généralement de mémoire et de puissance de calcul. Il ne résume toutefois pas, à lui seul, la qualité d’une réponse : la conception, les données d’entraînement et la tâche demandée comptent aussi.

Les variantes Vision reposent sur les modèles de langage Llama 3.1, auxquels Meta a associé un composant chargé de traiter l’information visuelle. C’est cette association qui permet de transformer les éléments d’une image en représentations exploitables par le modèle de langage, afin de formuler une réponse à la question de l’utilisateur.

Que permet réellement l’IA multimodale ?

Le terme « multimodal » désigne la capacité d’un système à prendre en compte plusieurs formes d’information. Ici, il s’agit principalement d’associer le texte et l’image. Cette approche peut sembler naturelle pour un humain, qui lit une recette, regarde les ingrédients photographiés et relie spontanément les deux. Pour un modèle, c’est un changement important : il doit établir des correspondances entre des pixels, des objets, une scène et les mots utilisés dans la demande.

Meta met en avant plusieurs usages. Un utilisateur peut, par exemple, soumettre la photo d’une plante et demander des informations sur son entretien, photographier un appareil pour obtenir de l’aide sur un élément visible, ou interroger un document mêlant tableaux, titres et illustrations. Dans un contexte professionnel, la technologie peut contribuer à extraire des informations d’une facture, à résumer un graphique ou à retrouver un détail dans un catalogue d’images.

L’intérêt ne consiste donc pas seulement à « reconnaître » un objet. Le modèle doit aussi répondre à une intention précise. La même photo d’une étagère peut donner lieu à des questions très différentes : quels livres sont visibles, quel objet est placé à gauche, ou quel élément semble manquer. Llama 3.2 est destiné à produire une réponse rédigée qui relie ces indices visuels à la consigne.

Meta indique que ses modèles Vision 11B et 90B obtiennent des résultats compétitifs face à des modèles fermés de taille comparable sur des évaluations de compréhension et de raisonnement visuels. Ces résultats sont publiés par l’entreprise elle-même : ils permettent de situer l’ambition de Llama 3.2, mais ne remplacent pas des tests indépendants réalisés dans des conditions d’usage variées.

Llama 3.2 face à Llama 3.1 : ce qui change

La précédente famille Llama 3.1, lancée en juillet 2024, comprenait des modèles de 8, 70 et 405 milliards de paramètres principalement destinés au traitement du langage. Avec Llama 3.2, Meta ne remplace pas simplement ces modèles par des versions plus grandes. L’entreprise élargit plutôt la gamme dans deux directions distinctes : la compréhension des images et les modèles compacts.

Cette évolution répond à deux tendances qui traversent l’IA générative en 2024. D’une part, les assistants doivent pouvoir comprendre des contenus qui ne se limitent pas à une zone de texte. D’autre part, les entreprises cherchent à réduire la dépendance à des serveurs distants pour les fonctions simples, afin de limiter la latence, les coûts ou les transferts de données.

Pourquoi Meta mise aussi sur des modèles plus petits

Les modèles Llama 3.2 1B et 3B n’ont pas de capacité visuelle, mais ils occupent une place centrale dans la stratégie de Meta. L’entreprise les présente comme des modèles légers, optimisés pour un fonctionnement sur des appareils de type mobile ou embarqué. Ils prennent en charge la génération de texte multilingue ainsi que les appels d’outils, c’est-à-dire la capacité à déclencher une fonction extérieure lorsqu’une tâche l’exige.

Un tel modèle pourrait, par exemple, reformuler localement un message, classer une note, proposer une réponse courte ou transmettre une requête structurée à une application. L’exécution sur appareil ne signifie pas que toutes les données restent automatiquement sur le téléphone : cela dépend du produit développé, des fonctions activées et des éventuels services en ligne associés. Mais elle offre la possibilité technique de traiter certaines demandes sans envoyer systématiquement leur contenu vers un serveur distant.

Cette approche implique des compromis. Un modèle plus compact consomme moins de ressources et peut répondre plus vite dans certaines situations, mais il sera moins adapté aux questions longues, complexes ou nécessitant un raisonnement élaboré. Les modèles de très grande taille, eux, demandent en général une infrastructure informatique bien plus importante.

Comment Llama 3.2 s’intègre à Meta AI

Le lancement ne concerne pas uniquement les développeurs. Meta utilise également Llama 3.2 pour enrichir Meta AI, son assistant intégré à ses services. Aux États-Unis, les utilisateurs peuvent notamment s’appuyer sur les capacités visuelles de l’assistant pour poser des questions à partir d’images prises ou partagées dans les applications du groupe.

Cette intégration illustre l’intérêt d’un modèle multimodal pour un assistant du quotidien. Les contenus échangés sur un smartphone sont rarement uniquement textuels : ils comprennent des photos, des captures d’écran, des documents et des visuels. Pouvoir interroger directement ces éléments évite une étape de description manuelle et rend l’interaction plus conversationnelle.

Il faut néanmoins distinguer le modèle de la fonction disponible dans une application. Llama 3.2 fournit des capacités de base. Les produits de Meta ajoutent ensuite leur interface, leurs règles de sécurité, leurs fonctions de recherche ou de partage, ainsi que les modalités propres à chaque pays. La disponibilité réelle d’une fonction dépend donc du service et de la zone géographique, pas seulement de l’existence du modèle.

Des poids accessibles, mais une licence à lire attentivement

Meta présente Llama comme une famille de modèles ouverte et met les poids de Llama 3.2 à la disposition des développeurs via son site et des partenaires. Les poids sont les fichiers qui contiennent ce que le modèle a appris et qui permettent de l’exécuter ou de l’adapter. Cette diffusion facilite l’expérimentation, la recherche et la création d’applications sur une infrastructure choisie par le développeur.

L’accès ne doit toutefois pas être confondu avec une absence de règles. Llama 3.2 est distribué sous la licence communautaire Llama 3.2 de Meta, accompagnée d’une politique d’usage acceptable. Les organisations comptant plus de 700 millions d’utilisateurs actifs mensuels doivent demander une autorisation spécifique à Meta pour utiliser les modèles. Les conditions de la licence encadrent donc les possibilités d’exploitation.

L’expression « open source » est fréquemment employée dans le débat sur les modèles d’IA, mais elle peut recouvrir des réalités différentes. Dans le cas de Llama 3.2, les poids sont accessibles sous une licence de Meta. Cela ne signifie pas que l’intégralité des données d’entraînement est publiée ni que tout usage est libre de conditions. Pour un projet personnel comme pour un produit commercial, la lecture de la licence et de la politique d’usage reste indispensable.

Des applications prometteuses, sans transformer l’IA en expert infaillible

La combinaison du texte et de l’image ouvre des pistes concrètes dans de nombreux métiers. Dans l’éducation, un assistant peut aider à commenter un schéma, à expliquer une illustration ou à générer des questions à partir d’un document. Dans le commerce, il peut faciliter la recherche dans un catalogue. Dans la recherche documentaire, il peut aider à résumer le contenu visible d’une page ou à repérer des informations dans un tableau.

Ces possibilités ne doivent pas être présentées comme des garanties. Un modèle peut mal identifier un objet, omettre un détail essentiel ou donner une réponse plausible mais erronée. Les images médicales illustrent particulièrement cette limite : une IA de ce type peut éventuellement assister des tâches de documentation ou de recherche, mais elle ne remplace ni la validation clinique, ni un professionnel de santé, ni les procédures réglementaires nécessaires à un outil de diagnostic.

Les mêmes précautions valent pour les documents administratifs ou financiers. Une réponse générée peut servir de point de départ, pas de décision finale lorsque l’erreur aurait des conséquences importantes. Les développeurs devront évaluer leurs applications avec des images représentatives des situations réelles, prévoir une supervision humaine lorsque nécessaire et informer clairement les utilisateurs des limites de l’outil.

Ce qu’il faut surveiller après ce lancement

À la date du 26 septembre 2024, Llama 3.2 place Meta sur deux terrains devenus stratégiques : les modèles capables de comprendre les images et les modèles suffisamment légers pour être intégrés plus largement dans les appareils. La réussite de cette approche dépendra autant de la qualité des intégrations que des performances brutes annoncées par l’entreprise.

Il faudra notamment observer la diffusion effective des modèles 1B et 3B dans les téléphones et applications, la fiabilité des modèles Vision dans des usages courants, ainsi que les choix des développeurs face aux conditions de licence de Meta. L’autre enjeu sera la confiance : plus les assistants analysent des photos et des documents personnels, plus la clarté sur le traitement des données, les limites du système et les garde-fous sera déterminante.

Llama 3.2 ne rend pas l’IA universellement fiable, mais il marque une étape nette dans son évolution : les modèles de langage ne se contentent plus de lire des mots, ils commencent à interpréter les contenus visuels qui accompagnent les échanges numériques du quotidien.