Évaluer l’IA : pourquoi ses performances ne suffisent pas à convaincre

Évaluer une intelligence artificielle ne consiste pas seulement à compter ses bonnes réponses. Un système peut se montrer rapide, précis et efficace sur une tâche, tout en suscitant le refus de celles et ceux auxquels il est destiné. Lorsqu’il s’agit de confier une décision qui touche à l’argent, à la santé ou à l’emploi, les attentes changent : la performance technique doit alors composer avec un besoin de compréhension, d’équité et d’attention à chaque cas particulier.

C’est ce que met en lumière une recherche associée aux travaux du professeur Jackson G. Lu, du MIT. En réunissant les résultats de 163 études antérieures, portant sur 82 000 réactions dans 93 contextes décisionnels, cette méta-analyse propose un cadre simple pour comprendre une question devenue centrale : dans quelles situations les personnes préfèrent-elles une décision assistée ou produite par l’IA à une décision humaine ?

Évaluer une IA, ce n’est pas seulement mesurer un score

Les évaluations techniques occupent une place essentielle dans le développement de l’IA. Elles permettent par exemple de vérifier si un système reconnaît correctement un signal de fraude, classe des données ou produit une prédiction cohérente. Précision, vitesse, taux d’erreur et stabilité des résultats sont alors des indicateurs utiles.

Mais ces mesures ne répondent qu’à une partie du problème. Un résultat exact n’emporte pas automatiquement l’adhésion. Une personne peut accepter qu’un outil analyse des milliers de transactions financières, tout en refusant qu’il décide seul si elle doit être embauchée, assurée ou orientée vers un traitement médical.

La différence tient notamment à la nature de la décision. Certaines tâches semblent pouvoir être définies par des règles, des données et des critères identifiables. D’autres paraissent inséparables d’une histoire personnelle, de circonstances difficiles à formaliser ou d’un échange humain. Dans ce second cas, le public ne demande pas seulement une réponse correcte : il attend que sa singularité soit prise en compte.

Cette distinction est importante pour les entreprises comme pour les administrations. Un bon résultat en laboratoire ou sur un jeu de données ne suffit pas à démontrer qu’un système sera bien accueilli dans une situation concrète. L’évaluation doit aussi examiner le rôle laissé à l’humain, la possibilité de contester une décision et la manière dont le système est présenté à ses utilisateurs.

Le cadre Capacité-Personnalisation, en deux questions

Les travaux de Jackson G. Lu s’appuient sur le cadre dit de la Capacité-Personnalisation. Son idée est la suivante : les préférences face à l’IA reposent principalement sur deux dimensions.

La première est la capacité perçue. Les individus sont plus disposés à recourir à l’IA lorsqu’ils estiment qu’elle peut faire mieux qu’un humain. Cette impression peut venir de sa rapidité de calcul, de son aptitude à examiner des volumes de données considérables ou de sa régularité dans une tâche répétitive.

La seconde est le besoin de personnalisation. Plus une décision est jugée dépendante d’une situation unique, moins un outil automatisé est spontanément accepté. La personnalisation ne renvoie pas seulement à l’ajout d’un prénom dans une interface. Elle désigne ici la capacité supposée à comprendre les contraintes, les préférences, le vécu et les besoins spécifiques d’une personne.

L’IA est donc le plus volontiers préférée lorsque deux conditions sont réunies : elle est perçue comme supérieure à l’humain, et la tâche ne semble pas exiger une compréhension individualisée poussée. À l’inverse, même une machine jugée très compétente peut être écartée si le contexte paraît profondément personnel.

Ce que révèle la méta-analyse de 163 études

Une méta-analyse ne repose pas sur une seule expérimentation. Elle rassemble et examine plusieurs recherches déjà menées afin d’identifier des tendances plus robustes à travers une variété de situations. Ici, les 163 études prises en compte couvrent 93 contextes décisionnels et totalisent 82 000 réactions.

Le résultat général soutient le cadre Capacité-Personnalisation. Les participants préfèrent davantage les systèmes d’IA lorsqu’ils leur attribuent un avantage net sur les humains et lorsque la décision est perçue comme peu dépendante de caractéristiques individuelles.

Cette approche évite deux raccourcis fréquents. Le premier consisterait à opposer une population enthousiaste à une population hostile à l’IA. Les réactions sont plus nuancées : une même personne peut apprécier un algorithme dans un domaine et s’y opposer dans un autre. Le second serait de croire que la question se résume à la qualité objective du logiciel. La perception de cette qualité, tout comme le type de relation attendu avec le décideur, pèse tout autant sur l’acceptation.

L’exemple des investissements boursiers l’illustre. Lorsqu’un outil d’IA propose des prédictions précises, il peut susciter un intérêt mesuré. Les personnes y voient potentiellement un moyen d’exploiter rapidement une grande quantité d’informations. Mais cette ouverture ne se transpose pas mécaniquement à l’embauche ou au diagnostic médical, deux domaines où les conséquences sont personnelles et où la décision doit souvent être expliquée.

Fraude, recrutement, santé : pourquoi les réactions changent-elles ?

La détection de fraude constitue un terrain plutôt favorable à l’IA. La tâche implique souvent de repérer des anomalies parmi de très nombreux signaux. Rapidité et capacité à traiter de grands volumes de données correspondent aux forces que le public attribue volontiers aux systèmes automatisés. La personnalisation y semble, en comparaison, moins indispensable.

L’analyse de données massives bénéficie d’un raisonnement similaire. Face à une quantité d’informations qu’une personne ne pourrait pas parcourir efficacement seule, l’outil peut être vu comme un complément évident. Il ne s’agit pas nécessairement de lui donner le dernier mot, mais son apport paraît plus facilement justifiable.

Les entretiens d’embauche déclenchent davantage de réserves. Le recrutement engage une trajectoire professionnelle et semble requérir l’appréciation d’éléments difficiles à réduire à une liste de critères : expérience, aspirations, contraintes ou manière de s’inscrire dans un collectif. Les individus peuvent craindre qu’un algorithme les transforme en dossier standardisé et néglige ce qui distingue leur parcours.

La psychothérapie, elle aussi, apparaît comme un cas de forte personnalisation. L’écoute, l’empathie perçue et l’adaptation à la personne sont au cœur de l’attente. Dans ce type de relation, un système même très performant risque d’être considéré comme impersonnel s’il ne paraît pas apte à saisir le contexte singulier de celui ou celle qui lui parle.

Le diagnostic médical se situe à l’intersection de ces enjeux. L’IA peut être associée à une analyse efficace de données complexes, mais une décision de santé est aussi fortement personnalisée et lourde de conséquences. Les réserves ne portent donc pas uniquement sur l’exactitude d’une prédiction : elles concernent le besoin d’explication, la responsabilité et la prise en compte de la situation du patient.

L’emploi, un facteur qui pèse sur l’acceptation

L’automatisation modifie aussi la manière dont les outils sont reçus. D’après la recherche citée, les personnes vivant dans des pays où le taux de chômage est élevé se montrent moins enclines à accepter l’IA. La crainte que la technologie remplace des emplois ou fragilise davantage le marché du travail contribue à cette réticence.

Ce résultat rappelle que l’acceptation d’une IA ne se joue pas seulement au niveau individuel. Elle dépend également d’un environnement social et économique. Un même outil peut être interprété comme une aide à la productivité, ou comme un symbole de remplacement et de déclassement, selon le contexte dans lequel il est introduit.

Pour concevoir ou déployer un système, ignorer cette dimension serait une erreur. Présenter l’IA comme un simple gain d’efficacité ne répond pas à la question que peuvent se poser les salariés : quelles tâches vont changer, quelles compétences resteront nécessaires et quelle place l’organisation entend-elle conserver pour la décision humaine ?

Pourquoi un robot tangible inspire-t-il parfois plus confiance ?

La recherche relève une autre différence : l’IA est mieux appréciée lorsqu’elle prend la forme d’un robot tangible plutôt que d’un algorithme immatériel. Cette observation ne signifie pas qu’un robot soit intrinsèquement plus compétent. Elle souligne plutôt l’importance de la perception et de l’interaction.

Un dispositif physique peut rendre la technologie plus concrète et donner l’impression d’un interlocuteur plus présent. À l’inverse, un algorithme invisible, qui délivre une décision sans interaction apparente, peut renforcer l’image d’un mécanisme impersonnel. Or, dès lors que les utilisateurs attendent une attention à leurs besoins, cette impression compte.

Il faut néanmoins distinguer apparence et garanties. Donner un visage, une voix ou un corps à un outil ne suffit pas à prouver la qualité de ses résultats. Une interface plus incarnée ne dispense ni d’évaluer les erreurs, ni de vérifier les biais, ni de définir clairement la responsabilité humaine. Elle peut faciliter l’acceptation, mais elle ne doit pas devenir un substitut à une véritable évaluation.

Comment mieux évaluer un outil d’IA avant de l’adopter ?

Les résultats de cette recherche invitent à élargir les critères d’évaluation. Avant de déployer un outil, il est utile de séparer plusieurs questions qui sont trop souvent mélangées.

D’abord, que fait concrètement le système et avec quelle qualité ? Il faut identifier la tâche, les données qu’il traite, les erreurs qu’il peut commettre et les conditions dans lesquelles ses résultats restent fiables. Une IA de détection d’anomalies ne s’évalue pas comme un assistant de rédaction, ni comme un outil susceptible d’influencer une décision médicale ou professionnelle.

Ensuite, quelle personnalisation les personnes concernées attendent-elles ? Si l’outil intervient sur un sujet sensible, il faut déterminer s’il aide un professionnel, formule une recommandation ou décide à sa place. Cette distinction est décisive pour l’acceptabilité. Une IA utilisée pour préparer l’analyse d’un dossier n’a pas le même statut qu’une IA qui écarterait automatiquement une candidature.

Enfin, comment les utilisateurs peuvent-ils comprendre et discuter le résultat ? Une évaluation complète tient compte de leur expérience réelle. Les retours d’usage peuvent révéler des incompréhensions, une confiance excessive, un sentiment d’injustice ou des situations que les tests initiaux n’avaient pas prévues.

Ce qu’il faut surveiller

À mesure que l’IA s’installe dans les services, les entreprises et les métiers, la question ne sera pas seulement de savoir si elle peut accomplir une tâche. Il faudra aussi déterminer quelles décisions la société accepte de lui confier, sous quelles conditions et avec quelles garanties humaines.

Le cadre Capacité-Personnalisation fournit une grille de lecture utile : les outils les mieux reçus sont ceux dont l’avantage paraît clair et dont l’usage ne donne pas l’impression d’effacer la singularité des personnes. Les usages les plus sensibles exigent au contraire une vigilance accrue sur la personnalisation, l’explication et la place du jugement humain.

Pour les concepteurs, l’enjeu est de ne pas confondre adoption et performance. Pour les utilisateurs, il est de ne pas se laisser guider uniquement par l’apparente sophistication d’un système. Une IA peut être très utile sans devoir être souveraine : c’est souvent dans l’organisation de cette coopération, et non dans l’automatisation à tout prix, que se joue sa véritable valeur.