MMLU, MMMU, MATH : comment choisir le bon benchmark pour votre IA

Un modèle peut briller dans un tableau de scores et décevoir dès qu’il doit résumer un contrat, analyser un graphique ou résoudre un calcul pour un utilisateur. C’est la raison d’être des benchmarks d’intelligence artificielle générative : ces batteries de tests proposent les mêmes questions à plusieurs modèles afin de comparer leurs capacités. Encore faut-il ne pas leur demander ce qu’ils ne peuvent pas mesurer.

Les sigles MMLU, MMMU et MATH reviennent souvent dans les fiches techniques des grands modèles de langage. Ils sont utiles, mais ils répondent à des questions différentes. Le premier évalue largement les connaissances et la compréhension textuelle, le deuxième porte cette évaluation dans le monde des images et des documents, le troisième se concentre sur les problèmes mathématiques. Pour choisir un modèle, il faut donc partir de la tâche que l’on veut accomplir, et non du score le plus spectaculaire.

Un benchmark d’IA, à quoi sert-il exactement ?

Un benchmark est un protocole d’évaluation standardisé. Il fournit un ensemble de questions, des règles pour les soumettre au modèle et une méthode de calcul du score. Cette standardisation permet de comparer les résultats de systèmes différents dans des conditions proches.

Dans le cas des modèles génératifs, la réponse n’est pas toujours aussi simple qu’un bon ou un mauvais résultat. Un assistant peut rédiger une réponse très convaincante mais factuellement erronée, ou parvenir à la bonne conclusion avec un raisonnement fragile. Les benchmarks les plus connus simplifient souvent l’exercice : le modèle doit choisir une réponse parmi plusieurs propositions ou produire un résultat attendu. C’est précieux pour mesurer une aptitude précise, mais cela ne reproduit pas toutes les situations réelles.

Le bon réflexe consiste à distinguer trois niveaux d’évaluation :

• les benchmarks académiques, qui rendent les comparaisons largement reproductibles ;
• les classements fondés sur des préférences humaines, qui confrontent les modèles dans des dialogues plus ouverts ;
• les tests métier, construits à partir des tâches, documents et contraintes propres à une organisation.

MMLU : mesurer l’étendue des connaissances textuelles

Publié en 2020, MMLU, pour Massive Multitask Language Understanding, est devenu l’un des repères les plus cités pour les grands modèles de langage. Il comporte 15 908 questions à choix multiples couvrant 57 matières. On y trouve aussi bien la biologie, l’histoire mondiale et l’économie que le droit, la philosophie, la médecine ou l’informatique.

L’objectif est de vérifier si un modèle sait mobiliser des connaissances dans de nombreux domaines et choisir la réponse pertinente. Les niveaux vont du lycée à des sujets de niveau professionnel. MMLU cherche ainsi à aller au-delà de la restitution d’une information isolée : plusieurs questions exigent de relier des notions ou de comprendre précisément la formulation.

Pour une entreprise qui envisage un assistant de recherche, de synthèse documentaire ou de rédaction, MMLU apporte donc un premier indice utile. Un bon résultat peut signaler qu’un modèle dispose d’une base de connaissances étendue et qu’il est à l’aise avec des questions formulées en langage naturel.

Mais l’indicateur ne doit pas être surinterprété. MMLU est majoritairement en anglais et s’appuie sur des questions à choix multiples. Or, dans une conversation réelle, un modèle doit souvent comprendre une demande imprécise, demander une clarification, citer ses sources, respecter une consigne de ton ou reconnaître qu’il ne sait pas. Ces compétences ne se résument pas à MMLU.

MMMU : quand le modèle doit aussi comprendre une image

Les assistants les plus récents ne traitent plus seulement du texte. Ils peuvent recevoir une photographie, un diagramme scientifique, une page de document ou un tableau. MMMU, pour Massive Multi-discipline Multimodal Understanding, a été conçu pour tester cette dimension multimodale.

Le benchmark rassemble plus de 11 000 questions de niveau universitaire, réparties dans 30 disciplines. Le modèle doit interpréter simultanément le texte de la question et un élément visuel : graphique, figure, schéma, image, partition, document ou autre support. La difficulté ne tient donc pas seulement à la lecture de l’image. Il faut aussi l’articuler aux connaissances mobilisées par la discipline concernée.

MMMU est particulièrement pertinent lorsqu’un projet prévoit l’analyse de rapports illustrés, de tableaux, de graphiques commerciaux, de documents techniques ou de contenus pédagogiques. Un modèle performant en texte peut en effet commettre des erreurs dès que l’information cruciale est intégrée dans une figure ou présentée dans une mise en page complexe.

Les conditions du test restent néanmoins plus contrôlées qu’un usage professionnel. Lire correctement une facture numérisée, par exemple, peut dépendre de la qualité de numérisation, de l’écriture manuscrite, d’un tableau mal aligné ou d’informations confidentielles. Ces cas doivent être testés avec les documents réellement rencontrés, en tenant compte des règles de protection des données.

MATH : un test exigeant pour le raisonnement mathématique

Le benchmark MATH ne juge pas la qualité littéraire d’un assistant. Il teste sa capacité à résoudre des problèmes mathématiques de compétition, généralement de niveau lycée avancé. Son jeu de données contient 12 500 problèmes, répartis entre l’entraînement et le test, et couvre notamment l’algèbre, la géométrie, le calcul, le comptage et probabilités, la théorie des nombres et le préalgèbre.

L’intérêt de MATH est d’exiger davantage qu’un calcul immédiat. Les problèmes peuvent demander plusieurs étapes, le choix d’une méthode, une manipulation symbolique et une réponse finale exacte. Un modèle qui obtient un bon score manifeste une aptitude utile au raisonnement formel et à la résolution structurée de problèmes.

Cette évaluation compte pour des usages liés à l’éducation, à l’analyse quantitative, au développement scientifique ou à l’assistance au code. Elle ne signifie toutefois pas qu’un modèle saura automatiquement traiter sans erreur les chiffres d’un tableur d’entreprise, les règles fiscales d’un pays ou les données d’un bilan financier. Dans ces situations, l’accès à des outils de calcul, la traçabilité des données et la vérification humaine demeurent déterminants.

Comment choisir un benchmark selon son besoin ?

La première étape n’est pas de parcourir un classement. Elle consiste à décrire les tâches que le modèle devra accomplir. Un outil de création de contenu, par exemple, devra produire un texte cohérent, suivre une ligne éditoriale, respecter des contraintes de longueur et éviter les affirmations inventées. MMLU peut renseigner sur la couverture générale des connaissances, mais il ne mesure pas directement cette capacité de rédaction.

À l’inverse, une équipe qui veut extraire des informations d’un rapport rempli de graphiques gagnera à consulter les résultats multimodaux, dont MMMU, puis à tester ses propres fichiers. Pour une fonction qui doit expliquer ou vérifier des calculs, MATH peut constituer un signal plus pertinent, à compléter par des cas proches des calculs effectivement réalisés.

Voici une méthode simple pour éviter un choix guidé par un seul score :

1. Définir les tâches prioritaires : résumer, rédiger, classer, analyser des images, extraire des données ou résoudre des problèmes.
2. Associer chaque tâche à une mesure adaptée : MMLU pour l’étendue textuelle, MMMU pour le texte associé aux images, MATH pour le raisonnement mathématique.
3. Construire un jeu de test interne : quelques dizaines ou centaines de demandes représentatives, avec des réponses attendues ou une grille de qualité claire.
4. Mesurer les contraintes opérationnelles : coût, temps de réponse, intégration, disponibilité, qualité en français et gestion des données.
5. Faire examiner les erreurs importantes : une moyenne élevée peut cacher une faiblesse critique sur un cas rare mais sensible.

La sélection de modèles tels que ChatGPT d’OpenAI, Gemini de Google, Claude, Qwen QwQ-32B d’Alibaba ou des systèmes plus récents comme DeepSeek ne devrait donc jamais reposer sur une seule épreuve. Le modèle le mieux classé globalement n’est pas forcément celui qui répond le mieux à une tâche, un budget ou un cadre de sécurité donné.

Les classements communautaires complètent les tests standardisés

Les benchmarks académiques posent des questions fixes. Les arènes de comparaison communautaires empruntent une autre voie : des internautes soumettent une demande, comparent à l’aveugle les réponses de deux modèles et indiquent celle qu’ils préfèrent. Ces duels servent ensuite à établir des classements, souvent associés à un système de score de type Elo.

En mars 2025, les initiatives portées notamment par LMSYS et relayées dans l’écosystème de Hugging Face s’appuient sur plus de 2 millions de tests anonymes réalisés par des internautes. Leur apport est réel : les modèles y affrontent des requêtes ouvertes, parfois créatives ou ambiguës, plus proches de certaines interactions quotidiennes qu’un questionnaire à choix multiples.

Ces palmarès ont cependant leurs propres biais. Les préférences des participants peuvent favoriser une réponse longue, assurée ou agréable à lire, même si elle contient une erreur. La population qui participe n’est pas nécessairement représentative de tous les métiers, toutes les langues ni toutes les contraintes d’accessibilité. Un classement dynamique est donc un thermomètre intéressant, pas une certification.

Ce que les benchmarks ne mesurent pas à eux seuls

La course aux scores comporte un risque : optimiser un modèle pour un jeu d’épreuves connu sans améliorer proportionnellement son utilité quotidienne. Un autre problème est la contamination des données. Si un modèle a été entraîné sur les questions ou sur des contenus très proches des données de test, son score peut surestimer ses capacités de généralisation.

Il faut aussi vérifier des critères qui ne figurent pas, ou peu, dans MMLU, MMMU et MATH :

• la capacité à signaler une incertitude plutôt qu’à inventer une réponse ;
• la robustesse face à une instruction ambiguë ou contradictoire ;
• la confidentialité des requêtes et les modalités de conservation des données ;
• la qualité des réponses dans la langue et le registre attendus ;
• la vitesse, le coût et la stabilité du service ;
• la capacité à utiliser de façon fiable des outils externes, quand le cas d’usage le nécessite.

La sécurité ne peut notamment pas être déduite d’un score de raisonnement. Elle dépend de l’architecture de déploiement, des contrôles d’accès, des paramètres de conservation, des contrats proposés et de la manière dont les équipes utilisent le système. Ce point doit faire l’objet d’un audit spécifique, quel que soit le modèle retenu.

Ce qu’il faut surveiller

Les benchmarks évoluent au rythme très rapide des modèles. De nouveaux systèmes de raisonnement, comme ceux mis en avant par DeepSeek, et des annonces telles que Gemini 2.5 rappellent qu’un classement peut être rapidement dépassé. Les évaluations doivent elles aussi progresser : davantage de tâches réalistes, de langues, de tests multimodaux et de vérifications sur la capacité à justifier ou à contrôler une réponse.

Pour les organisations, la meilleure stratégie reste pragmatique. Les scores MMLU, MMMU et MATH permettent de dresser une première liste de candidats sérieux. Vient ensuite l’étape décisive : un pilote limité, sur des données autorisées et des scénarios représentatifs, avec des critères de réussite connus à l’avance. C’est à cette condition qu’un benchmark devient autre chose qu’un chiffre de communication, et qu’il aide réellement à choisir une intelligence artificielle utile.