IA : apprendre aux modèles à reconnaître leurs lacunes pour éviter les erreurs

Un système d’intelligence artificielle peut formuler une réponse avec une assurance trompeuse. Qu’il s’agisse d’un chatbot, d’un outil qui prédit les propriétés d’une molécule ou d’un logiciel embarqué dans un véhicule, le problème est identique : une sortie plausible peut masquer une donnée manquante, un cas inhabituel ou un biais dans les informations utilisées. Dans les usages sensibles, ne pas savoir que le modèle se trompe est souvent plus préoccupant que l’erreur elle-même.

C’est précisément le problème que veut traiter Themis AI, une entreprise issue du Massachusetts Institute of Technology, le MIT. Son logiciel, Capsa, est conçu pour aider les modèles d’apprentissage automatique à détecter les situations dans lesquelles leurs résultats sont incertains. L’ambition n’est pas de rendre toute IA infaillible, objectif irréaliste, mais de rendre ses limites plus visibles et plus exploitables avant qu’une décision importante soit prise.

Pourquoi une réponse plausible peut-elle être erronée ?

Les modèles d’IA repèrent des régularités dans de très grandes quantités de données. À partir de ces régularités, ils produisent une prédiction, classent une image, recommandent une action ou génèrent du texte. Ce mode de fonctionnement est puissant, mais il ne signifie pas que le système comprend le monde comme un humain ni qu’il dispose de toutes les informations nécessaires à chaque situation.

Les grands modèles de langage illustrent bien cette difficulté. Face à une question très précise, un assistant conversationnel peut rédiger une réponse fluide et bien structurée, y compris lorsqu’il ne possède pas de connaissance fiable sur le sujet. On parle couramment d’« hallucination » pour désigner ce type d’affirmation inventée ou inexacte. Le problème dépasse toutefois les chatbots : un modèle prédictif peut aussi se montrer trop sûr de lui lorsqu’il rencontre un cas absent ou trop rare dans ses données d’entraînement.

Il faut distinguer trois notions souvent confondues :

• La performance, c’est la capacité du modèle à obtenir de bons résultats sur les tâches pour lesquelles il est évalué.
• L’incertitude, c’est le degré de doute associé à une prédiction particulière.
• La transparence, c’est la possibilité pour un utilisateur de comprendre les limites du résultat et de décider s’il doit lui faire confiance.

Une IA peut être performante en moyenne tout en commettant des erreurs graves dans quelques cas inhabituels. Dans le développement de médicaments, la synthèse d’informations ou la conduite autonome, ces cas isolés peuvent avoir des conséquences considérables.

Capsa, une couche pour mesurer les zones de doute

Themis AI présente Capsa comme un logiciel qui peut s’intégrer à un modèle d’apprentissage automatique existant. Plutôt que de remplacer ce modèle, l’outil l’entoure afin d’analyser ses sorties, d’identifier les résultats douteux et de les rectifier lorsque cela est possible. Selon l’entreprise, cette évaluation peut intervenir en quelques secondes.

Cette approche est importante pour les organisations qui ont déjà déployé leurs propres modèles. Repartir de zéro, collecter de nouvelles données et entraîner une nouvelle IA est coûteux, long et parfois impossible. Une couche capable d’évaluer la fiabilité d’un résultat au moment de son utilisation peut constituer une protection supplémentaire, notamment lorsque les données réelles diffèrent de celles sur lesquelles le modèle a appris.

Daniela Rus, cofondatrice de Themis AI et directrice du laboratoire CSAIL du MIT, inscrit ce travail dans une préoccupation simple : s’assurer qu’un modèle fonctionne correctement, y compris lorsque les conditions deviennent moins prévisibles. Son cofondateur Alexander Amini met, lui, l’accent sur l’accès à des applications à fort enjeu, où la réduction des erreurs ne relève pas seulement du confort d’utilisation.

Le rôle d’un outil comme Capsa peut être résumé ainsi :

Des recherches nées des enjeux de la conduite autonome

Les fondements de cette approche remontent aux travaux menés au laboratoire de Daniela Rus sur l’incertitude des modèles. En 2018, des recherches financées par Toyota visaient notamment à améliorer la fiabilité de systèmes destinés à la conduite autonome. Dans ce domaine, il ne suffit pas qu’un modèle reconnaisse correctement une route, un obstacle ou une situation de circulation dans la plupart des cas. Il doit aussi pouvoir identifier les circonstances dans lesquelles son analyse devient moins sûre.

Cette exigence est particulièrement forte pour des systèmes qui perçoivent leur environnement au moyen de caméras, de capteurs ou de données changeantes. Une météo inhabituelle, une scène mal éclairée ou une situation rarement rencontrée peuvent suffire à mettre en défaut un modèle pourtant très performant dans des conditions ordinaires.

L’idée n’est donc pas de confier aveuglément la sécurité à une note de confiance. Elle est d’ajouter une information essentielle au processus de décision : le système dispose-t-il d’éléments suffisamment solides pour agir, ou doit-il ralentir, demander confirmation ou transmettre le cas à une supervision ? Cette logique intéresse aussi les dispositifs embarqués, qui pourraient à l’avenir exécuter localement des tâches complexes et s’appuyer sur une surveillance centralisée lorsque les résultats sont incertains.

Réduire les biais sans les rendre invisibles

L’incertitude ne se limite pas aux cas techniquement inhabituels. Elle peut également révéler des déséquilibres dans les données. Daniela Rus et son équipe ont ainsi développé un algorithme destiné à détecter des biais raciaux et de genre dans des systèmes de reconnaissance faciale. Le dispositif a montré qu’il pouvait rééquilibrer les données d’entraînement afin de réduire ces biais.

Le sujet est central pour toute IA qui classe ou évalue des personnes. Si certaines populations sont moins bien représentées dans les données d’apprentissage, le modèle risque de moins bien fonctionner pour elles. Une moyenne de performance élevée peut alors cacher des écarts importants entre les groupes concernés.

La correction des données et l’évaluation de l’incertitude répondent à deux besoins complémentaires. La première cherche à améliorer le modèle en amont. La seconde aide à déceler, au moment de l’usage, les résultats qui appellent de la prudence. Aucune de ces méthodes ne dispense d’évaluer régulièrement le système, ses données et ses effets concrets.

Santé, énergie et réseaux : là où l’erreur coûte cher

Themis AI indique avoir travaillé avec plusieurs entreprises dans les secteurs des télécommunications et de l’énergie, notamment sur l’automatisation et la planification de réseaux. Dans ces environnements, les prédictions d’un modèle peuvent contribuer à organiser des opérations complexes. Un système capable de signaler les décisions les plus fragiles permet potentiellement aux équipes de concentrer leur attention sur les cas qui l’exigent réellement.

L’entreprise collabore aussi avec des sociétés pharmaceutiques. Capsa y est utilisé pour améliorer des modèles qui prédisent les propriétés de candidats médicaments. Ces prédictions sont complexes à interpréter, même pour des spécialistes : une molécule peut sembler prometteuse selon certains critères tout en restant incertaine sur d’autres.

Dans ce contexte, l’intérêt n’est pas de laisser l’IA choisir seule un futur traitement. Il est de mieux hiérarchiser les hypothèses à examiner. Si un outil indique à la fois une prédiction et le degré de confiance associé, les chercheurs peuvent plus facilement distinguer les pistes qui paraissent robustes de celles qui nécessitent davantage d’essais, de données ou d’analyse.

Cette logique vaut également pour les chatbots. Un assistant fiable ne doit pas seulement savoir produire une formulation naturelle. Il doit pouvoir éviter de présenter une information fragile comme un fait établi, signaler les limites de sa réponse et, lorsque le risque le justifie, inviter l’utilisateur à vérifier auprès d’une source ou d’un professionnel compétent.

Les modèles de langage peuvent-ils expliquer leur raisonnement ?

Themis AI explore par ailleurs l’usage de Capsa avec des méthodes de raisonnement de type « chaîne de pensée ». Cette expression désigne une manière pour certains modèles de décomposer les étapes qui les mènent à une réponse. L’objectif est de rendre le cheminement vers une conclusion plus facile à examiner, plutôt que de ne livrer qu’un résultat final.

Une explication étape par étape ne suffit toutefois pas à démontrer qu’une réponse est exacte. Un modèle peut produire un raisonnement apparemment cohérent tout en partant d’une information erronée. L’enjeu consiste donc à croiser plusieurs signaux : qualité des données, cohérence du résultat, niveau d’incertitude et contrôle humain adapté au niveau de risque.

C’est aussi une question de confiance. Pour qu’une IA soit utile dans des métiers où les conséquences d’une erreur sont importantes, les utilisateurs doivent pouvoir comprendre quand l’utiliser, quand la contredire et quand demander un second avis. La transparence n’est pas seulement une exigence éthique : elle est une condition pratique d’une adoption responsable.

Ce qu’il faut surveiller pour une IA plus fiable

En juin 2025, l’approche portée par Themis AI répond à une attente croissante : disposer de modèles moins opaques et mieux capables de reconnaître leurs propres limites. Le défi sera de vérifier que les signaux d’incertitude sont eux-mêmes fiables dans des situations variées, et qu’ils ne deviennent pas de simples indicateurs rassurants sans effet concret sur les décisions.

Les entreprises devront aussi définir des règles claires : quel niveau d’incertitude déclenche une alerte ? Qui vérifie le résultat ? Quelle trace est conservée lorsqu’un modèle est corrigé ou écarté ? Ces questions comptent autant que l’algorithme, particulièrement dans la santé, les transports ou les infrastructures.

La promesse la plus utile n’est pas celle d’une IA qui saurait tout. C’est celle d’un système capable de dire, de façon exploitable, qu’il ne sait pas assez. À mesure que les modèles entrent dans des usages plus sensibles, cette capacité à rendre visible le doute pourrait devenir un critère aussi important que leur vitesse ou leur précision moyenne.