Évaluer l’IA face aux humains : ce que mesure l’horizon de tâches de METR

Les comparaisons entre intelligence artificielle et intelligence humaine prennent souvent la forme d’un score : tant de bonnes réponses à un examen, tant de problèmes résolus ou tant de lignes de code produites. Ces indicateurs restent utiles, mais ils disent mal ce qu’un système est réellement capable d’accomplir dans une situation de travail. Une proposition de l’organisation de recherche METR invite à changer d’unité de mesure : raisonner en durée de tâche humaine plutôt qu’en pourcentage de bonnes réponses.

Présentée sous le nom de Task-Completion Time Horizon, ou horizon de temps de complétion des tâches en français, cette approche cherche à répondre à une question très concrète : quelle est la durée du travail qu’une IA peut effectuer avec succès, si l’on compare la mission à ce qu’un humain compétent mettrait à la réaliser ? L’idée n’est pas de déclarer une machine « meilleure qu’un humain » dans l’absolu. Elle vise plutôt à fournir un repère intelligible sur l’étendue des tâches confiables qu’un système peut traiter.

Pourquoi les benchmarks traditionnels ne suffisent plus

Les benchmarks, ces batteries de tests standardisés, sont devenus indispensables pour suivre les progrès des modèles d’IA. Ils peuvent évaluer la compréhension d’un texte, la résolution d’exercices de mathématiques, le raisonnement, la programmation ou la capacité à répondre à des questions spécialisées. Leur force est de rendre les modèles comparables dans un cadre identique.

Leur faiblesse est tout aussi connue : un résultat élevé sur un test ne décrit pas nécessairement la capacité à réaliser un travail complet. Dans la vie professionnelle, une mission ne se réduit pas toujours à une question clairement formulée et à une réponse unique. Il faut interpréter une consigne, mobiliser des informations, respecter des contraintes, vérifier le résultat et parfois ajuster sa démarche.

Comparer des scores reste également peu intuitif pour la plupart des organisations. Savoir qu’un modèle obtient un certain niveau de réussite sur une sélection de problèmes ne permet pas automatiquement de déterminer s’il peut assister un salarié sur une tâche brève, contribuer à une procédure plus longue ou opérer de façon suffisamment fiable dans un cadre donné.

La proposition de METR s’inscrit dans ce besoin de traduire des performances techniques en une unité plus proche du travail réel. Elle ne remplace pas les tests existants, elle cherche à leur apporter une dimension supplémentaire : la longueur et la complexité pratique des séquences d’actions qu’un système peut achever.

Qu’est-ce que l’horizon de temps de complétion des tâches ?

Le TCTH repose sur une comparaison entre deux éléments : des tâches soumises à un système d’IA et le temps qu’un humain met habituellement à accomplir ces mêmes tâches. L’évaluation ne consiste donc pas simplement à chronométrer la rapidité de calcul d’un modèle. Une IA peut générer du texte ou exécuter une action informatique en quelques secondes, tandis que la mission correspondante demanderait bien davantage de temps à une personne.

L’unité pertinente est la durée de travail humain de référence. Si un système réussit de manière suffisamment régulière des tâches qu’un professionnel mettrait quelques minutes à effectuer, son horizon est plus court que s’il parvient à mener à bien des tâches correspondant à plusieurs heures de travail humain. La notion d’« horizon » décrit ainsi l’ampleur temporelle des missions accessibles au modèle, selon un niveau de réussite défini à l’avance.

Cette précision est importante. Le TCTH ne mesure pas le temps de réponse du logiciel, ni le nombre d’heures pendant lesquelles une IA fonctionnerait sans interruption. Il ne prétend pas non plus attribuer un quotient intellectuel à une machine. Il propose un langage de comparaison entre des capacités observées sur des tâches et une estimation du temps nécessaire à des humains compétents.

Comment cette comparaison avec les compétences humaines peut-elle fonctionner ?

Pour produire un indicateur crédible, le choix des tâches est décisif. Une évaluation pertinente ne peut pas se contenter de demandes artificiellement simples ou d’exemples déjà vus pendant l’entraînement d’un modèle. Elle doit s’appuyer sur des missions représentatives d’un domaine, avec des consignes précises et un moyen clair de vérifier le résultat.

La référence humaine demande la même rigueur. Le temps nécessaire varie selon l’expérience de la personne, les outils disponibles, la complexité du dossier et le niveau de qualité attendu. Un travail accompli par un débutant, un spécialiste ou une équipe ne renvoie pas à la même durée. Dire qu’une tâche représente « une heure de travail humain » suppose donc de préciser de quel type de travailleur il est question et dans quelles conditions il exerce.

La méthode pousse aussi à définir le seuil de réussite. Une IA qui produit parfois un résultat exploitable mais échoue fréquemment ne peut pas être assimilée à un collaborateur fiable. À l’inverse, une tâche dont la réussite est évaluée avec trop de sévérité peut sous-estimer l’utilité concrète d’un outil d’assistance. L’intérêt du TCTH tient moins à un chiffre isolé qu’à la transparence du protocole qui le produit.

Dans cette perspective, les capacités dites « cognitives » d’un système ne doivent pas être traitées comme un bloc unique. Selon le domaine, l’évaluation peut porter sur la précision, la capacité à suivre des contraintes, la qualité de l’information traitée, l’adaptation à une consigne ou encore la faculté à vérifier un résultat. Une même IA peut se montrer performante dans un type de tâche et peu fiable dans un autre.

Ce que le TCTH apporte, et ce qu’il ne mesure pas

L’intérêt premier de l’horizon de tâches est sa lisibilité. Il rapproche l’évaluation des questions que se posent les entreprises, les administrations et les salariés : quels travaux cette IA peut-elle aider à accomplir ? Pour quelles missions faut-il conserver une validation humaine attentive ? À partir de quel niveau de complexité les erreurs deviennent-elles trop fréquentes ?

Mais cet indicateur ne suffit pas à lui seul pour décider du déploiement d’un outil. Deux systèmes affichant un horizon comparable peuvent avoir des profils très différents : l’un sera plus exact, l’autre plus adaptable, un troisième plus facile à contrôler. Surtout, une tâche longue réussie dans un environnement de test ne garantit pas qu’un modèle saura gérer les imprévus, les données incomplètes ou les conséquences d’une erreur dans le monde réel.

Emploi et compétences : un repère, pas un outil de sélection automatique

L’émergence de mesures plus proches des tâches de travail nourrit logiquement les débats sur l’emploi. Si l’on peut estimer le type de mission qu’une IA parvient à accomplir, il devient plus facile d’identifier les activités qu’elle peut accélérer, transformer ou assister. Cela peut aider une organisation à réfléchir à la répartition du travail entre les outils et les personnes.

Il serait toutefois hasardeux de réduire un métier à un horizon temporel. Les professions mobilisent des connaissances tacites, une responsabilité, une relation avec des collègues ou des clients, ainsi qu’une capacité de jugement qui ne se laisse pas entièrement enfermer dans une durée. La valeur d’un salarié ne se résume pas non plus à la rapidité avec laquelle il termine une série de tâches formalisées.

Le recrutement constitue un cas particulièrement sensible. Des outils d’IA peuvent déjà aider à organiser des candidatures, à analyser des informations ou à faire correspondre des compétences déclarées avec les exigences d’un poste. Mais utiliser une métrique conçue pour évaluer des systèmes d’IA afin de classer automatiquement des candidats serait un contresens. Les critères d’embauche doivent rester pertinents pour le poste, compréhensibles et contrôlables, sans transformer des corrélations statistiques en décisions injustes.

La réflexion sur les compétences ne se limite pas aux entreprises. L’UNESCO participe à l’élaboration de référentiels autour des compétences liées à l’IA. Ces travaux rappellent que l’enjeu est double : comprendre ce que les systèmes savent faire, mais aussi donner aux citoyens et aux professionnels les moyens de les utiliser avec discernement.

La performance ne dispense jamais d’évaluer les risques

La démarche de METR s’insère dans un débat plus large sur l’évaluation des risques associés à l’intelligence artificielle. Mesurer la capacité d’un modèle à réussir une tâche est indispensable, mais ne répond pas à toutes les questions. Il faut aussi examiner les effets possibles sur les personnes, les données, les droits, la sécurité et les conditions de travail.

Le Conseil de l’Europe a notamment adopté la méthodologie HUDERIA, consacrée à l’évaluation des risques et des impacts des systèmes d’IA au regard des droits humains, de la démocratie et de l’État de droit. Cette logique est complémentaire de la mesure des performances : un outil peut être techniquement efficace tout en restant inadapté à un usage donné si ses effets ne sont pas suffisamment maîtrisés.

Les biais illustrent clairement cette distinction. Un horizon de tâches ne détecte pas automatiquement les discriminations ou les représentations stéréotypées présentes dans les résultats d’un modèle. Pour les repérer, il faut des tests spécifiques, portant sur des populations, des situations et des critères adaptés au contexte d’utilisation. La même prudence vaut pour la confidentialité, la cybersécurité et la possibilité de contester une décision prise avec l’appui d’une IA.

Une évaluation responsable combine donc plusieurs niveaux : la qualité du résultat, la régularité des performances, la transparence du système, l’encadrement humain et l’analyse des impacts. Le TCTH peut apporter une pièce utile à cet ensemble, mais ne saurait en constituer le seul fondement.

Ce qu’il faut surveiller

L’intérêt de l’horizon de temps de complétion des tâches dépendra d’abord de la qualité des jeux de tâches retenus. Plus ils seront diversifiés, réalistes et ouverts à l’examen critique, plus les comparaisons auront du sens. À l’inverse, un indicateur construit sur un nombre limité de situations peut donner une image trop flatteuse ou trop restrictive d’un modèle.

Il faudra aussi suivre la manière dont les organisations interprètent ces résultats. Le risque serait de transformer une estimation de capacité en promesse commerciale, ou de conclure trop vite qu’une fonction humaine peut être remplacée. Dans la plupart des environnements professionnels, la bonne question est moins « l’IA peut-elle faire ce travail ? » que « dans quelles conditions peut-elle aider à le faire, avec quel niveau de contrôle et de responsabilité ? ».

Enfin, cette approche rappelle que l’évaluation de l’IA est appelée à devenir plus concrète. Les scores abstraits conservent leur utilité scientifique, mais les utilisateurs ont besoin de savoir ce qu’ils recouvrent dans la pratique. En reliant les performances des modèles à la durée de tâches humaines, METR propose un repère plus facilement interprétable. Son véritable apport sera de favoriser des comparaisons plus rigoureuses, sans jamais faire oublier que les compétences humaines dépassent la somme des tâches qu’un système parvient à exécuter.