Sujet
Tous les articles d’Actu.ai consacrés à Benchmarks : actualités, analyses et explications sur ce sujet lié à l’intelligence artificielle. 22 articles
Les modèles d’IA brillent souvent dans les benchmarks, sans que cela garantisse leur efficacité au travail. Avec TRUEBench, Samsung propose un cadre d’évaluation fondé sur 2 485 tests professionnels, dans 12 langues, pour comparer leur capacité à produire des résultats réellement exploitables en entreprise.
Le modèle Grok-4 de xAI revendique des résultats de premier plan sur des tests de raisonnement, de mathématiques et d’intelligence fluide. Sa déclinaison Heavy, qui fait travailler plusieurs agents en parallèle, améliore encore certains scores. Mais ses capacités d’image et de code restent à nuancer.
Avec ses duels anonymes entre assistants conversationnels, Chatbot Arena a imposé une façon très visible de comparer les modèles d’IA. Les votes d’utilisateurs offrent un indicateur concret de préférence, mais ils ne remplacent ni les tests scientifiques ni une évaluation complète des risques et des usages.
L’intelligence artificielle n’est pas jugée sur ses seules performances. Une méta-analyse de 163 études montre que son acceptation dépend aussi du degré de personnalisation attendu dans la décision. Pour la fraude, elle inspire plus facilement confiance. Pour un recrutement ou un diagnostic, l’intervention humaine reste souvent décisive.
Une étude menée par des chercheurs d’Apple met à l’épreuve les modèles de raisonnement les plus avancés sur des problèmes logiques contrôlés. Le constat est nuancé mais marquant : utiles à difficulté intermédiaire, ces systèmes voient leur précision s’effondrer lorsque la complexité franchit un certain seuil.
Gemini 2.5 Pro arrive en tête du classement Chatbot Arena d’avril 2025, devant o3 d’OpenAI. Ce palmarès fondé sur des duels anonymes entre assistants met en lumière la rivalité de Google, OpenAI, xAI et DeepSeek, tout en rappelant qu’un bon score ne résume pas tous les usages.
Référence pour comparer les modèles d’intelligence artificielle, LMArena amorce sa transformation en entreprise le 19 avril 2025. L’objectif est de rendre ses évaluations plus durables et de proposer des services aux organisations, sans perdre de vue une exigence décisive : mesurer les IA de manière rigoureuse et compréhensible.
Planifier ne consiste pas seulement à produire une réponse plausible : il faut ordonner des actions, respecter des contraintes et s’adapter aux imprévus. Des travaux de recherche, dont l’approche Coconut et le benchmark NATURAL PLAN, cherchent à rendre les grands modèles de langage plus capables face à ces problèmes.
Un score élevé ne suffit pas à désigner le meilleur modèle d’intelligence artificielle. MMLU, MMMU et MATH ne mesurent pas les mêmes compétences : langage, compréhension d’images ou raisonnement mathématique. Voici comment lire leurs résultats, connaître leurs limites et les compléter par des tests proches de vos usages.
La fondation ARC Prize lance ARC-AGI-2, un test conçu pour mettre les modèles d’intelligence artificielle face à des problèmes qu’ils n’ont jamais vus. Après les progrès rapides réalisés sur ARC-AGI-1, la compétition 2025 veut récompenser des systèmes capables de s’adapter, de raisonner et de généraliser au-delà de leurs données d’entraînement.
Comparer une IA à un humain ne consiste pas seulement à compter les bonnes réponses. La méthode d’horizon de temps de complétion des tâches, proposée par METR, cherche à exprimer les capacités d’un système par la durée des missions qu’il peut mener à bien. Un repère utile, à condition de ne pas en faire une mesure universelle de l’intelligence.
Le jeu Super Mario Bros. devient un terrain d’essai pour mesurer la capacité de systèmes d’IA à percevoir une situation, choisir une action et s’adapter en temps réel. Cette approche du Hao AI Lab entend compléter les benchmarks classiques, souvent fondés sur des questions et des données statiques.
Le classement Chatbot Arena met en lumière une course serrée entre les grands modèles conversationnels. En février 2025, Chocolate, associé à une première version de Grok-3, atteint 1 402 points Elo, devant Gemini-2 Flash Thinking Exp 01-21 à 1 385 points. Mais ces scores ne suffisent pas, à eux seuls, à désigner le meilleur outil pour chaque usage.
Alibaba place son nouveau modèle Qwen 2.5-Max devant DeepSeek V3 dans plusieurs évaluations de référence, dont Arena-Hard, LiveBench et GPQA-Diamond. Préentraîné sur plus de 20 000 milliards de tokens, ce modèle de type Mixture-of-Experts vise à conjuguer raisonnement, code et facilité d’intégration pour les développeurs.
En janvier 2025, Gemini 2.0 domine le classement de la Chatbot Arena avec 1 380 points Elo. Google et OpenAI occupent six des premières places, tandis que DeepSeek-V3 et Step-2 confirment la progression des modèles chinois. Voici ce que ce palmarès fondé sur des duels d’utilisateurs permet réellement de comprendre.
DeepSeek publie R1 et R1-Zero, deux modèles conçus pour mieux résoudre les problèmes de logique, de mathématiques et de programmation. Au 21 janvier 2025, leurs résultats déclarés les placent au niveau d’OpenAI o1 sur plusieurs tests, tout en ouvrant leurs poids et des versions plus légères à la communauté.
Développé par des chercheurs d’Abu Dhabi et de Floride, LlamaV-o1 explore une voie d’entraînement inspirée de l’apprentissage humain : aller du simple au complexe. Le projet associe cette méthode à un raisonnement détaillé, un benchmark dédié et une recherche de réponses par plusieurs pistes.
Conçu par des chercheurs de l’UCLA, TeamCraft transforme Minecraft en terrain d’essai pour les IA qui doivent travailler en équipe. Ses 55 000 variantes de missions mesurent la planification, la perception et la coordination d’agents dotés d’indices textuels et visuels.
Le modèle o3 d’OpenAI a réalisé une performance inédite au test ARC-AGI, en dépassant la référence humaine sur certaines configurations. Ce résultat met en lumière les progrès de l’IA face à des problèmes nouveaux, mais il ne suffit pas à conclure qu’une intelligence artificielle générale est née.
Avec 32,5 milliards de paramètres, QwQ-32B-Preview veut faire plus que produire du texte plausible : le modèle d’Alibaba est conçu pour décomposer et résoudre des problèmes complexes. Ses résultats annoncés en mathématiques et en logique le placent sous les projecteurs, malgré des limites reconnues sur le raisonnement courant et les langues.
Le modèle expérimental Gemini-Exp-1121 de Google s’installe en tête de la Chatbot Arena avec 1 365 points Elo, devant ChatGPT-4o-latest. Ce classement issu de duels anonymes entre assistants illustre le retour de Google dans la course, mais il ne résume pas à lui seul toutes les qualités d’un modèle d’IA.
OpenAI présente MLE-bench, un protocole fondé sur 75 compétitions Kaggle pour évaluer des agents capables de mener des tâches de machine learning. Plus proche d’un travail d’ingénierie que les tests de questions-réponses, cet outil promet des comparaisons plus utiles, sans résumer à lui seul la fiabilité d’un système.
