ManticAI se hisse parmi les meilleurs prévisionnistes à la Metaculus Cup

Prévoir l’avenir ne consiste pas à affirmer ce qui arrivera, mais à estimer avec le plus de justesse possible la probabilité de plusieurs scénarios. C’est sur ce terrain exigeant que la startup britannique ManticAI vient de se faire remarquer. Lors de la Metaculus Cup, elle a obtenu la huitième place face à des participants du monde entier, devançant de nombreux prévisionnistes humains chevronnés.

La performance ne signifie pas que les machines ont déjà remplacé les meilleurs experts. Mais elle apporte une mesure concrète des progrès réalisés par les systèmes d’intelligence artificielle lorsqu’ils doivent analyser des événements incertains, croiser de nombreuses informations et exprimer un niveau de confiance plutôt qu’une réponse binaire. À l’heure où les entreprises, les investisseurs et les institutions cherchent à mieux anticiper les risques, ce résultat mérite d’être regardé de près.

Une huitième place sur 60 questions très différentes

La Metaculus Cup est une compétition de prévisions organisée sur la plateforme Metaculus. Les participants y estiment les chances de réalisation d’événements futurs. Les questions ne se limitent pas aux grands titres internationaux : elles peuvent porter sur la politique, l’environnement, l’économie ou l’actualité publique.

Pour cette édition, les concurrents devaient répondre à 60 questions. Leurs réponses étaient ensuite évaluées selon leur exactitude une fois les résultats connus, au 1er septembre 2025. L’exercice récompense donc moins une intuition spectaculaire qu’une capacité à attribuer des probabilités bien calibrées.

Le classement de ManticAI est particulièrement notable parce qu’il ne repose pas sur une seule bonne réponse. Il reflète une série de prévisions sur des thèmes disparates, avec des échéances et des informations disponibles très différentes.

Pourquoi les prévisions probabilistes sont un exercice difficile

Une prévision ne se résume pas à consulter une information récente ou à demander à un modèle de langage de deviner une réponse. Il faut d’abord définir exactement la question : quelle est l’échéance ? Quel résultat compte comme une résolution ? Quelles données sont suffisamment solides ? Ensuite, il faut comparer des hypothèses concurrentes et réviser son jugement lorsque de nouveaux éléments apparaissent.

Les meilleurs prévisionnistes humains se distinguent notamment par leur capacité à éviter deux pièges fréquents : l’excès de confiance et le suivisme. Quand une large communauté converge vers une même réponse, il peut être tentant de s’aligner sur la moyenne sans réexaminer les hypothèses de départ. Or, une prévision collective n’est pas automatiquement juste.

ManticAI s’est justement démarquée en proposant parfois des estimations qui s’écartaient des moyennes de la communauté. Cette indépendance ne garantit pas le succès à chaque question, mais elle peut éviter la pensée de groupe, c’est-à-dire la tendance d’un ensemble de participants à renforcer une opinion dominante sans suffisamment la contester.

La difficulté augmente encore lorsque plusieurs événements sont liés. Une élection peut dépendre d’une campagne, d’une coalition, d’une crise internationale ou de règles institutionnelles. Une estimation sur des incendies peut être influencée par la météo, les pratiques agricoles, les données de terrain et la manière dont les surfaces sont comptabilisées. C’est dans ces enchaînements complexes que les humains conservent, pour l’instant, une avance sur les systèmes automatisés.

Comment ManticAI répartit le travail entre plusieurs modèles

ManticAI n’aborde pas chaque question comme un bloc unique. La startup décompose les problèmes de prévision en plusieurs tâches, puis les confie à des modèles d’apprentissage automatique sélectionnés en fonction de leurs aptitudes. Ces modèles peuvent provenir d’acteurs comme OpenAI ou Google.

L’idée est simple : plutôt que d’attendre d’un seul système qu’il recherche les informations pertinentes, interprète le contexte, formule des scénarios et calcule une probabilité finale, le processus répartit ces étapes. Chaque modèle peut contribuer à une partie du raisonnement avant que le système ne produise une estimation consolidée.

Cette méthode s’apparente à une équipe où les rôles sont distribués. Un premier agent peut explorer les angles d’une question, un autre vérifier des hypothèses, un troisième comparer différents scénarios. La valeur ne vient alors pas uniquement du modèle choisi, mais de l’organisation du travail entre les modèles et de la façon dont leurs conclusions sont réunies.

Toby Shevlane, cofondateur de ManticAI et ancien chercheur de Google DeepMind, considère que le système a franchi un cap significatif pour la communauté de l’IA. La huitième place obtenue dans la compétition donne un résultat mesurable à cette ambition : l’orchestration de plusieurs modèles peut rivaliser avec un grand nombre de participants humains dans un environnement de prévision structuré.

Une avancée réelle, mais pas encore la victoire sur les experts

Le résultat de ManticAI doit être interprété avec précision. Finir huitième est une performance forte, mais la startup demeure derrière les meilleurs prévisionnistes humains de la Metaculus Cup. La compétition ne permet donc pas d’affirmer que l’IA est devenue meilleure que l’humain dans toutes les formes de prospective.

Ben Shindel, prévisionniste expérimenté, a fait part de sa surprise face à ce résultat. Son étonnement illustre le changement en cours : les systèmes d’IA ne sont plus seulement des outils d’assistance capables de résumer des documents ou de produire du texte. Ils commencent à afficher des performances compétitives dans des exercices qui demandent de quantifier l’incertitude.

Il faut cependant distinguer une compétition de prévisions, avec ses règles et ses questions définies, de toutes les décisions prises dans le monde réel. Prévoir l’issue d’un événement est une chose. Décider d’un investissement, d’une stratégie industrielle ou d’une politique publique en est une autre : ces choix impliquent des objectifs, des valeurs, des contraintes juridiques et des conséquences humaines qu’aucun score de prévision ne résume à lui seul.

Pourquoi les humains gardent un rôle central

Les prévisionnistes humains apportent des qualités que les systèmes automatisés ne maîtrisent pas toujours avec la même fiabilité. Ils peuvent identifier une ambiguïté dans la formulation d’une question, estimer qu’une donnée officielle est trompeuse, ou comprendre qu’un changement politique ou social rend les comparaisons historiques moins pertinentes.

Les humains sont aussi capables de justifier un désaccord à partir de leur connaissance du terrain. Cette faculté est utile face aux événements rares, aux situations inédites et aux interactions entre plusieurs domaines. Dans ces cas, une réponse convaincante ne dépend pas seulement de la quantité d’informations examinées, mais de la capacité à déterminer lesquelles doivent réellement compter.

Warren Hatch, dirigeant de Good Judgment, défend ainsi une approche de coopération plutôt que de concurrence frontale. Certaines questions, en particulier celles qui exigent des jugements nuancés, restent mieux appréhendées par des personnes. L’IA peut, de son côté, analyser rapidement de grandes quantités de données, générer des hypothèses ou signaler des incohérences.

Une équipe hybride pourrait donc tirer parti de deux forces complémentaires : la vitesse et la capacité de traitement des machines, d’une part ; le discernement, l’expérience et la responsabilité humaine, d’autre part. Dans ce cadre, l’IA ne remplace pas nécessairement le prévisionniste. Elle peut l’obliger à rendre son raisonnement plus explicite et à tester davantage ses intuitions.

Quels usages pour les entreprises et les investisseurs ?

L’amélioration des outils de prévision intéresse directement les organisations confrontées à l’incertitude. Une entreprise peut chercher à anticiper l’évolution de la demande, une perturbation dans sa chaîne logistique, une réglementation ou les conséquences d’un événement climatique. Un investisseur peut vouloir cartographier les scénarios qui affectent un secteur ou une technologie.

Dans tous ces cas, une IA de prévision ne devrait pas être considérée comme une boule de cristal. Son intérêt réside plutôt dans sa faculté à formaliser les incertitudes, à proposer plusieurs hypothèses et à actualiser rapidement une estimation lorsque le contexte évolue.

Pour être utile, un tel outil doit néanmoins respecter plusieurs conditions :

• la question posée doit être claire et vérifiable ;
• les utilisateurs doivent connaître le degré d’incertitude associé à chaque réponse ;
• les décisions importantes doivent conserver une supervision humaine ;
• les performances doivent être mesurées dans le temps, sur des résultats effectivement observables.

Le risque serait de transformer une probabilité en certitude ou de déléguer une décision sensible à un score mal compris. Les prévisions peuvent améliorer une décision, mais elles ne dispensent pas d’assumer le choix final.

Ce qu’il faut surveiller d’ici 2029

Pour Deger Turan, dirigeant de Metaculus, les systèmes d’IA pourraient égaler ou dépasser les meilleurs prévisionnistes humains à l’horizon 2029. Cette estimation reste elle-même une prévision, non une certitude. Elle donne toutefois un repère sur la vitesse à laquelle le domaine évolue.

Les prochaines compétitions permettront d’évaluer si le résultat de ManticAI se confirme sur d’autres ensembles de questions et sur des périodes plus longues. La régularité comptera autant que les coups d’éclat : un bon système de prévision doit rester calibré lorsque les sujets changent, lorsque l’information manque et lorsque les événements contredisent les précédents.

Il faudra aussi observer la qualité des explications fournies avec les estimations. Une probabilité sans raisonnement est difficile à contester, à corriger ou à utiliser dans une décision collective. À l’inverse, un outil capable d’exposer ses hypothèses, de signaler ses incertitudes et de réviser ses conclusions pourrait devenir un véritable partenaire de travail.

La Metaculus Cup ne désigne donc pas seulement un gagnant. Elle met en lumière une question qui concernera de plus en plus d’organisations : non pas si l’IA doit prédire à la place des humains, mais comment humains et systèmes automatisés peuvent confronter leurs jugements pour mieux se préparer à ce qui vient.