Llama 3.3 70B : Meta promet la puissance du 405B à un dixième du coût

Meta poursuit l’accélération de sa gamme de modèles de langage. Après Llama 3.1 en juillet 2024 puis Llama 3.2 à la fin septembre, le groupe a présenté début décembre Llama 3.3 70B, une version conçue pour les applications textuelles. Son argument central est simple : offrir une qualité que Meta juge proche de celle de son très grand modèle Llama 3.1 405B, tout en demandant beaucoup moins de ressources au moment de générer des réponses.

Cette annonce répond à une préoccupation très concrète des entreprises. En intelligence artificielle générative, le coût ne se limite pas à l’entraînement initial d’un modèle. Une fois le système déployé, chaque requête, chaque résumé de document et chaque échange avec un assistant implique une phase appelée « inférence ». Plus un modèle est volumineux, plus il requiert de mémoire et de puissance de calcul pour répondre. Réduire cette facture sans trop sacrifier la qualité est devenu l’un des principaux axes de compétition entre les fournisseurs de modèles.

Ce que Meta annonce avec Llama 3.3 70B

Le nom du modèle donne une première indication : 70B correspond à environ 70 milliards de paramètres. Les paramètres sont les valeurs numériques ajustées durant l’entraînement, qui permettent au modèle de repérer des régularités dans les textes et de prédire le mot, ou plus exactement le fragment de mot, suivant. Leur nombre n’est pas le seul critère de qualité, mais il reste un bon indicateur de l’échelle d’un modèle.

Face à lui, Llama 3.1 405B contient 405 milliards de paramètres. Le contraste est donc considérable : Llama 3.3 70B est près de six fois moins grand en nombre de paramètres. Meta affirme pourtant que cette nouvelle version atteint des performances comparables à celles du 405B pour de nombreux usages textuels, avec un coût d’inférence présenté comme dix fois inférieur.

Il ne faut pas comprendre cette promesse comme une égalité absolue dans tous les contextes. Les modèles sont évalués sur une variété d’exercices : compréhension de texte, connaissances, raisonnement, instruction, programmation ou encore dialogue. Un résultat peut varier selon la nature de la demande, la langue, la longueur du document fourni, les réglages techniques et les outils associés au modèle. Mais pour une organisation qui hésite entre un modèle très puissant et un modèle plus facile à déployer, l’enjeu est majeur.

Pourquoi la taille du modèle influe sur la facture

Le coût d’un service d’IA générative dépend notamment de la mémoire nécessaire pour charger le modèle, du matériel de calcul utilisé, du nombre de demandes simultanées et de la longueur des textes traités. Un modèle de 405 milliards de paramètres représente une infrastructure nettement plus lourde qu’un modèle de 70 milliards de paramètres.

La différence ne concerne pas seulement les grands centres de données. Une taille plus contenue ouvre davantage de possibilités d’exécution dans une infrastructure interne, chez un prestataire spécialisé ou, sous certaines conditions techniques, sur des postes de travail puissants. Meta met précisément en avant cette possibilité pour Llama 3.3 70B.

Cela ne signifie pas qu’un modèle de 70 milliards de paramètres fonctionne sans contraintes sur n’importe quel ordinateur. Son exploitation reste une opération exigeante, qui dépend de la mémoire disponible, du logiciel utilisé et, souvent, de méthodes de compression des poids du modèle. En revanche, par rapport à un 405B, le seuil matériel et financier devient nettement plus accessible.

Comment Llama 3.3 a-t-il été entraîné ?

Llama 3.3 70B repose sur une architecture dite Transformer, aujourd’hui dominante dans les grands modèles de langage. Il s’agit d’un modèle auto-régressif : pour produire une phrase, il génère progressivement les éléments qui la composent en s’appuyant sur le contexte reçu et sur ce qu’il vient lui-même d’écrire.

Selon Meta, le pré-entraînement a mobilisé environ 15 000 milliards de tokens, issus de sources accessibles au public. Un token est une unité de texte manipulée par le modèle : il peut s’agir d’un mot, d’une partie de mot, d’un signe de ponctuation ou d’un autre fragment selon la langue et le système de découpage. Ce volume illustre l’ampleur des corpus nécessaires aux modèles de langage modernes.

Les données de pré-entraînement utilisées s’étendent jusqu’à décembre 2023. Après cette première phase, Meta indique avoir affiné le modèle à l’aide d’ensembles de données publiques d’instructions et de plus de 25 millions d’exemples synthétiques. Les exemples synthétiques sont des données générées artificiellement, souvent par d’autres modèles, puis utilisées pour apprendre au système à suivre des consignes, à répondre dans un format attendu ou à effectuer certaines tâches.

Le développement a également fait appel au fine-tuning supervisé et à l’apprentissage par renforcement fondé sur des retours humains, généralement désigné par le sigle RLHF. Dans ce cadre, des préférences humaines servent à orienter le comportement du modèle vers des réponses jugées plus utiles, plus cohérentes ou plus sûres.

L’effort de calcul communiqué par Meta donne une autre mesure de l’investissement : 39,3 millions d’heures de GPU sur des processeurs graphiques H100 de 80 Go. Ces puces sont largement utilisées pour l’entraînement de l’IA générative. Meta précise avoir intégré les étapes de pré-entraînement, d’ajustement, d’annotation et d’évaluation dans son environnement de production.

Une fenêtre de contexte de 128 000 tokens

Llama 3.3 70B dispose d’une fenêtre de contexte de 128 000 tokens. Concrètement, c’est la quantité de texte que le modèle peut prendre en compte dans une même interaction. Cette capacité est utile pour analyser de longs documents, conserver l’historique d’une conversation étendue, comparer plusieurs pièces ou produire une synthèse à partir d’un dossier conséquent.

La fenêtre de contexte ne garantit toutefois pas à elle seule une compréhension parfaite de chaque détail. Lorsqu’un document devient très long, la qualité dépend aussi de la façon dont la demande est formulée, de l’emplacement des informations importantes et du type de tâche demandé. Elle fournit néanmoins une marge bien plus importante que celle des premières générations d’assistants conversationnels.

Des résultats de benchmarks à interpréter avec méthode

Meta avance que Llama 3.3 70B atteint le niveau de Llama 3.1 405B dans ses comparaisons et se mesure favorablement à plusieurs modèles concurrents, notamment GPT-4o, Gemini 1.5 Pro et Nova Pro d’Amazon. Le groupe compare aussi sa nouvelle version à Llama 3.1 70B.

Ces résultats sont significatifs dans un marché où chaque gain de performance peut orienter les choix de déploiement. Ils ne dispensent pas, pour autant, de procéder à ses propres essais. Les benchmarks mesurent des capacités dans un cadre défini, avec des jeux de questions et des protocoles déterminés. Ils ne reproduisent pas toujours les contraintes d’un assistant client, d’un outil de rédaction interne, d’une recherche documentaire juridique ou d’un logiciel métier.

Pour choisir un modèle, une entreprise doit donc examiner au moins quatre éléments :

• la qualité sur ses propres documents et cas d’usage ;
• le coût d’inférence à son volume réel de requêtes ;
• la capacité à respecter les exigences de confidentialité et de sécurité ;
• les conditions de licence, de personnalisation et de maintenance.

Huit langues prises en charge, dont le français

Meta annonce une prise en charge de huit langues : l’allemand, l’anglais, l’espagnol, le français, l’hindi, l’italien, le portugais et le thaï. Pour les équipes francophones, cela signifie que le français fait partie des langues explicitement visées durant le développement et les évaluations du modèle.

Le modèle peut générer du texte dans d’autres langues, mais Meta ne recommande pas de l’employer directement pour des conversations dans des langues non prises en charge sans travail complémentaire. L’entreprise conseille un fine-tuning et des contrôles de sécurité adaptés. Cette précaution est importante : la capacité apparente à produire quelques phrases dans une langue ne garantit ni une compréhension solide des nuances, ni une qualité homogène, ni une modération fiable.

Les applications envisagées sont classiques pour un grand modèle de langage : assistant conversationnel, aide à la rédaction, génération de contenus textuels, classification, synthèse ou interface en langage naturel avec des outils professionnels. Sa fenêtre de contexte et son orientation multilingue peuvent intéresser les organisations qui manipulent de grands volumes de documents dans plusieurs langues européennes et internationales.

Llama est-il vraiment open source ?

Llama 3.3 est proposé avec la licence communautaire Llama de Meta, qui permet des usages de recherche et de nombreux usages commerciaux. Le terme « open source » est souvent employé pour désigner la disponibilité des poids du modèle, c’est-à-dire des paramètres nécessaires à son exécution et à son adaptation.

Il convient néanmoins de distinguer cette disponibilité d’une licence open source au sens strict. La licence communautaire de Llama comporte des conditions spécifiques fixées par Meta. Avant d’intégrer le modèle dans un produit, une entreprise doit donc lire ces conditions, vérifier leur compatibilité avec son projet et tenir compte des politiques d’utilisation applicables.

Cette approche reste attractive pour les développeurs qui souhaitent garder davantage de contrôle sur leur hébergement, adapter le modèle à leur métier ou éviter une dépendance totale à une interface fermée. Elle implique aussi de prendre en charge une part plus importante de l’exploitation : matériel, mises à jour, sécurité, suivi des performances et contrôle des réponses.

Ce qu’il faut surveiller

Llama 3.3 70B illustre une tendance structurante de l’IA générative en cette fin d’année 2024 : la course ne porte plus uniquement sur le modèle le plus grand. Elle porte aussi sur le meilleur rapport entre qualité, vitesse, coût et facilité de déploiement. Si les gains annoncés par Meta se confirment dans des usages concrets, un modèle de 70 milliards de paramètres pourrait suffire à de nombreuses applications qui auraient auparavant nécessité une infrastructure réservée aux modèles les plus massifs.

La prochaine étape sera celle des tests réels. Les développeurs devront mesurer la qualité en français sur leurs documents, la régularité des réponses dans des conversations longues, le comportement du modèle sur des sujets sensibles et le coût total d’exploitation. Les promesses de benchmark sont un indicateur utile, mais le choix d’un modèle reste une décision technique, économique et juridique qui se joue au plus près des besoins.

Pour Meta, Llama 3.3 70B est aussi un moyen de consolider la place de sa famille de modèles face aux offres de Google, OpenAI et Amazon. Pour les utilisateurs professionnels, l’arrivée de modèles plus efficients élargit surtout l’éventail des options : obtenir des capacités avancées de génération de texte sans assumer nécessairement le prix et la complexité d’un modèle de plus de 400 milliards de paramètres.