CALDERA compresse les modèles de langage pour les smartphones et PC

Faire fonctionner un assistant conversationnel, un outil de traduction ou une fonction de résumé directement sur un téléphone ou un ordinateur portable pose un défi simple à énoncer, mais complexe à résoudre : les grands modèles de langage sont lourds. Ils réclament beaucoup d’espace de stockage, de mémoire de travail et de calcul. C’est pourquoi nombre de services d’intelligence artificielle envoient encore les requêtes vers de puissants serveurs distants.

Des ingénieurs de Princeton et de Stanford proposent une piste pour réduire cette dépendance au cloud. Leur algorithme, baptisé CALDERA, compresse les informations contenues dans les grands modèles de langage, ou LLM. L’objectif est de conserver des résultats comparables à ceux d’un modèle non compressé, tout en rendant son stockage et son utilisation possibles sur des appareils aux ressources plus limitées, comme les smartphones et les ordinateurs portables.

Les travaux doivent être présentés à la conférence NeurIPS, organisée en décembre 2024. Ils s’inscrivent dans une tendance majeure de l’IA : ne pas seulement entraîner des modèles toujours plus grands dans des centres de données, mais aussi les rendre suffisamment efficaces pour les utiliser au plus près de la personne qui en a besoin.

Pourquoi les grands modèles de langage sont-ils difficiles à utiliser en local ?

Les LLM sont entraînés à repérer des régularités dans d’immenses quantités de textes. Cette capacité leur permet notamment de générer du texte, de traduire, de résumer des documents ou d’alimenter certains services clients automatisés. Mais elle repose sur un très grand nombre de paramètres, c’est-à-dire de valeurs numériques ajustées pendant l’entraînement.

Dans un modèle, ces valeurs sont rangées dans des structures mathématiques appelées matrices de poids. On peut les voir comme de vastes tableaux de nombres qui encodent les relations statistiques apprises entre les mots, les phrases et d’autres motifs de langage. Lorsqu’un utilisateur formule une demande, l’appareil doit effectuer de nombreux calculs sur ces matrices pour produire une réponse.

Faire ces calculs à distance présente des atouts évidents : le service peut mobiliser des machines très puissantes et mettre à jour le modèle de façon centralisée. Mais ce fonctionnement implique aussi une connexion réseau, un transfert de données et des coûts d’infrastructure. Répétées à très grande échelle, les requêtes adressées à des services tels que ChatGPT nécessitent des ressources informatiques et énergétiques considérables.

L’exécution locale inverse en partie cette logique. Au lieu d’expédier le contenu de la requête à un serveur, l’appareil de l’utilisateur conserve le modèle et traite la demande lui-même. Reste alors à résoudre une contrainte essentielle : comment faire tenir un modèle utile dans la mémoire disponible, sans dégrader excessivement la qualité de ses réponses ?

CALDERA combine faible précision et réduction des redondances

CALDERA signifie Calibration Aware Low precision DEcomposition with low Rank Adaptation. Derrière cet intitulé, la méthode associe deux techniques de compression qui répondent à des problèmes complémentaires : la représentation à faible précision et la réduction de rang.

La première consiste à stocker et à manipuler les valeurs numériques du modèle avec une précision réduite. Dans un système informatique, plus une valeur est représentée avec de chiffres binaires, plus elle occupe de mémoire et peut exiger de ressources lors des calculs. Réduire cette précision permet donc de diminuer les besoins de stockage et de traitement. Le risque est de perdre de l’information utile et de voir les réponses du modèle se dégrader.

La réduction de rang s’attaque, elle, aux redondances présentes dans les matrices. Une matrice très vaste peut souvent être approchée par une combinaison de structures plus compactes, en conservant les éléments les plus utiles à son comportement. Cette opération réduit la quantité d’information à conserver, mais elle doit être réglée avec soin pour éviter une simplification excessive.

Le principe de CALDERA est de ne pas employer ces deux leviers indépendamment. L’algorithme tient compte de leur interaction et s’appuie sur une phase de calibration pour limiter la perte de qualité associée à la compression. Selon les chercheurs, cette combinaison procure une compression plus efficace que l’application isolée de chacune des deux méthodes.

Ce type de travail est important parce qu’il s’intéresse à l’efficacité après l’entraînement. Concevoir un LLM est coûteux, mais le déployer pour des millions de requêtes l’est aussi. L’optimisation des modèles devient donc un enjeu technique à part entière, au même titre que leurs capacités de raisonnement ou de génération.

Quels résultats avec Llama 2 et Llama 3 ?

L’équipe a évalué CALDERA avec Llama 2 et Llama 3, deux familles de modèles de langage mises à disposition par Meta AI. Les tests couvrent plusieurs ensembles de tâches destinés à évaluer le comportement des modèles compressés.

Les résultats rapportés font état d’une amélioration d’environ 5 %. Dans le contexte de l’étude, ce gain est particulièrement notable pour des mesures liées à l’incertitude dans la prédiction des séquences de mots. Ces mesures servent à vérifier dans quelle mesure un modèle conserve sa capacité à anticiper la suite plausible d’un texte après compression.

Ce chiffre ne signifie pas qu’un modèle réduit sera indiscernable d’un modèle complet dans toutes les situations. La qualité dépend de la tâche demandée, du niveau de compression et des ressources de l’appareil. En revanche, les évaluations suggèrent qu’il est possible de réduire significativement l’empreinte d’un LLM tout en conservant un niveau de performance utile pour de nombreux usages.

La prudence est particulièrement nécessaire lorsqu’une application exige une précision très élevée. Une erreur, une omission ou une réponse mal interprétée peut avoir davantage de conséquences dans certains contextes professionnels que dans une demande de reformulation, d’assistance à la rédaction ou de traduction courante. La compression ne supprime pas non plus les limites générales des modèles de langage, qui peuvent produire des informations inexactes.

Exécuter l’IA sur l’appareil : quels bénéfices pour les utilisateurs ?

Le premier intérêt de l’exécution locale est la réduction de la dépendance aux serveurs centralisés. Un appareil qui dispose du modèle nécessaire peut traiter certaines requêtes sans avoir à transmettre systématiquement leur contenu vers un service distant. Cela peut aussi réduire les délais liés à l’aller-retour des données sur le réseau.

La vie privée constitue un autre enjeu. Adapter un modèle à des données spécifiques directement sur l’appareil, puis lui soumettre des requêtes localement, limite les échanges avec des tiers. Pour une entreprise, cette possibilité peut être attractive lorsqu’elle souhaite exploiter des informations internes sans multiplier les transferts de données sensibles.

Cette approche ne dispense toutefois pas de toute vigilance. La sécurité dépend aussi de la protection de l’appareil, de l’application qui utilise le modèle et de la manière dont les données sont stockées. Un traitement local limite une catégorie de risques, celui de la transmission à un serveur distant, mais il ne transforme pas automatiquement un produit en environnement parfaitement sécurisé.

La batterie et la mémoire restent des contraintes concrètes

La compression répond à une contrainte d’espace, mais elle n’annule pas les limites physiques des terminaux. Les smartphones et les ordinateurs portables ont une quantité finie de mémoire, une capacité de calcul plus modeste que celle des serveurs spécialisés et, pour les appareils mobiles, une batterie à préserver.

Le co-auteur Rajarshi Saha souligne ainsi que la consommation énergétique doit également être prise en compte. Un modèle qui tient dans la mémoire d’un téléphone peut encore solliciter intensément son processeur et accélérer la décharge de la batterie s’il est utilisé longtemps ou de façon répétée. La compression doit donc être envisagée comme un élément d’un ensemble plus vaste de techniques d’optimisation.

Pour les développeurs, le choix ne se résume pas à opposer un modèle local à un modèle hébergé à distance. Il s’agit plutôt d’arbitrer selon l’usage : taille du modèle, fréquence des requêtes, qualité attendue, connexion disponible, sensibilité des données et autonomie de l’appareil. Une application peut, par exemple, privilégier les tâches simples et fréquentes en local, tout en conservant un traitement distant pour les demandes exigeant davantage de ressources.

Les modèles allégés semblent surtout adaptés aux applications dont les besoins de précision restent modérés et pour lesquelles la réactivité ou la confidentialité pèsent fortement : assistants embarqués, chatbots spécialisés, traduction, aide à la rédaction ou traitement de texte. La possibilité de les ajuster pour des besoins précis, sans nécessairement partager les données utilisées, renforce encore leur intérêt.

Ce qu’il faut surveiller

La présentation de CALDERA à NeurIPS en décembre 2024 permettra de situer plus précisément cette méthode parmi les autres approches de compression des modèles de langage. La question centrale ne sera pas seulement de savoir si un LLM peut tenir sur un appareil personnel, mais avec quelle qualité, quelle consommation d’énergie et quelles garanties pratiques selon les usages.

Les travaux de Princeton et Stanford montrent que les matrices de poids ne sont pas un bloc indivisible : une partie de leur représentation peut être réduite ou restructurée tout en maintenant des performances jugées comparables dans les évaluations. C’est une perspective importante à mesure que les fonctions d’IA s’installent dans des appareils du quotidien.

L’enjeu, pour les utilisateurs comme pour les entreprises, sera d’éviter deux écueils. Le premier serait de croire qu’une compression résout à elle seule les problèmes de coût, de confidentialité et de fiabilité. Le second serait de sous-estimer son potentiel : des modèles plus compacts peuvent ouvrir la voie à des outils plus réactifs, mieux adaptés à des besoins spécifiques et moins dépendants d’une connexion permanente aux serveurs distants.