IA : une méthode du PNNL pour savoir quand un modèle dépasse ses limites

Une intelligence artificielle rapide n’est utile aux scientifiques que si elle sait aussi exprimer ce qu’elle ignore. Dans la recherche sur les matériaux, la chimie ou les médicaments, un modèle peut produire en quelques secondes une estimation qui aurait demandé des calculs lourds sur un supercalculateur. Mais cette accélération perd une grande partie de sa valeur si personne ne peut distinguer une prédiction solide d’une réponse formulée bien au-delà des données sur lesquelles l’IA a appris.

C’est le problème auquel s’attaque une équipe du Pacific Northwest National Laboratory, ou PNNL, un laboratoire national rattaché au département de l’Énergie des États-Unis. Les chercheurs Jenna Bilbrey Pope et Sutanay Choudhury ont élaboré une méthode d’évaluation de l’incertitude destinée aux potentiels de réseaux neuronaux. Leur ambition est directe : aider les modèles à signaler les situations dans lesquelles leurs prévisions ne doivent pas être prises pour argent comptant, et indiquer où un entraînement supplémentaire est nécessaire.

Pourquoi l’incertitude est le talon d’Achille des modèles scientifiques

Un modèle d’intelligence artificielle apprend à partir d’exemples. Pour les modèles de chimie et de science des matériaux, ces exemples peuvent décrire des arrangements d’atomes, leurs interactions ou encore l’énergie associée à une structure donnée. À partir de ces données, le système apprend à estimer des propriétés pour de nouvelles configurations.

Le problème apparaît lorsqu’une demande ressemble trop peu aux données déjà vues. Le modèle ne raisonne pas comme un chercheur qui identifierait spontanément une situation inédite. Il applique les régularités statistiques apprises lors de son entraînement. Il peut donc continuer à donner une valeur numérique précise alors qu’il s’aventure dans une zone où ses connaissances sont faibles.

Cette difficulté est souvent résumée par deux notions :

La capacité d’un modèle à fournir une estimation n’est donc pas la même chose que sa capacité à en mesurer la fiabilité. Or, dans un laboratoire, cette différence peut décider quels calculs coûteux seront lancés, quelles molécules seront synthétisées ou quelles pistes seront abandonnées.

Ce que propose l’équipe du PNNL

La méthode développée au PNNL se concentre sur les potentiels de réseaux neuronaux, des modèles conçus pour prédire des grandeurs utiles à l’étude des systèmes atomiques. Elle quantifie l’incertitude associée aux réponses du modèle et cherche à identifier les zones où les données d’entraînement ne suffisent plus.

En pratique, l’objectif est double. D’une part, le scientifique doit pouvoir évaluer la confiance qu’il peut accorder à une prédiction. D’autre part, l’équipe qui entraîne le modèle doit pouvoir repérer quelles nouvelles données lui apporteraient le plus de valeur. Plutôt que d’accumuler sans distinction de très nombreux exemples, elle peut orienter l’effort de calcul ou de production de données vers les situations que le modèle maîtrise mal.

Les chercheurs soulignent un défaut important des méthodes existantes : certains modèles d’incertitude peuvent afficher un excès de confiance, y compris lorsque les erreurs de prévision sont significatives. Ce phénomène est particulièrement problématique avec les réseaux neuronaux profonds, dont la complexité n’empêche pas les réponses erronées formulées avec aplomb.

Le cadre SNAP mobilisé dans cette recherche vise à atténuer cette surconfiance. Il ne s’agit pas seulement de produire un chiffre d’incertitude, mais de vérifier que ce chiffre reste utile face aux erreurs réelles du modèle. Pour le chercheur, un indicateur d’incertitude n’a de valeur que s’il augmente effectivement lorsqu’une prédiction devient moins fiable.

Sutanay Choudhury résume cet enjeu en une phrase : « L’IA doit être capable de détecter ses limites. » L’idée est de rendre possibles des formulations prudentes et quantifiées, telles que : « Cette prédiction offre 85 % de confiance que le catalyseur A est supérieur au catalyseur B, selon vos critères. » Ce pourcentage est ici un exemple de la manière dont une IA mieux calibrée pourrait communiquer un niveau de confiance, et non le résultat chiffré annoncé pour un matériau particulier.

Comment l’incertitude peut améliorer l’entraînement

Cette approche s’inscrit dans la logique de l’apprentissage actif. Au lieu de constituer un jeu de données fixe, puis d’entraîner un modèle une seule fois, les chercheurs font de l’incertitude un signal pour enrichir progressivement ses connaissances.

Le principe peut être résumé en cinq étapes :

1. Un modèle est entraîné sur les données déjà disponibles.
2. Il évalue de nouvelles configurations atomiques ou de nouveaux matériaux.
3. La méthode estime le degré d’incertitude de ses réponses.
4. Les cas les plus incertains ou les moins fiables sont signalés.
5. Ces cas peuvent être traités avec des méthodes de référence plus coûteuses, puis servir à compléter l’entraînement.

Ce cycle a un intérêt très concret. Les calculs de haute précision en science des matériaux et en chimie sont souvent exigeants en temps de calcul et en énergie. L’IA permet d’accélérer l’exploration d’un grand nombre de pistes, tandis que l’évaluation de l’incertitude aide à réserver les ressources lourdes aux cas où elles sont réellement nécessaires.

Des tests avec MACE pour la science des matériaux

Les travaux de l’équipe montrent que la méthode peut servir à examiner l’entraînement de modèles prédictifs tels que MACE, afin d’estimer l’énergie de différentes familles de matériaux. Dans ce domaine, connaître l’énergie associée à une structure atomique est essentiel : cette information contribue à évaluer la stabilité d’un matériau, les interactions entre ses atomes ou son comportement dans certaines conditions.

Les potentiels de réseaux neuronaux sont particulièrement attractifs parce qu’ils peuvent approcher rapidement des calculs traditionnellement beaucoup plus lourds. Ces calculs de référence sont habituellement confiés à des infrastructures de calcul intensif, notamment des supercalculateurs. Le gain potentiel est donc considérable : explorer plus vite un espace de candidats, sélectionner les plus prometteurs et concentrer les calculs coûteux sur une liste réduite.

Mais la rapidité ne doit pas conduire à remplacer sans contrôle les méthodes de référence. L’apport de la méthode proposée par le PNNL est de mieux encadrer ce passage entre simulation par IA et calcul de précision. Si le modèle indique que sa prédiction est située dans une zone d’incertitude élevée, le laboratoire peut choisir de demander davantage de données ou de recourir à une méthode de calcul plus rigoureuse avant de prendre une décision.

Vers des laboratoires où l’IA sait demander de l’aide

Cette recherche s’inscrit dans une évolution plus large : l’intégration de flux de travail assistés par l’IA dans les laboratoires. Dans ce cadre, un modèle ne se limite pas à proposer une réponse. Il peut contribuer à organiser l’exploration scientifique, en suggérant les expériences, les simulations ou les données les plus susceptibles de réduire une incertitude.

Pour un laboratoire, cette capacité présente plusieurs avantages. Elle peut aider à réduire le nombre de calculs menés à l’aveugle, rendre les critères de sélection plus explicites et mieux documenter les raisons pour lesquelles une piste mérite une validation. Elle peut aussi faciliter le dialogue entre spécialistes de l’IA et experts du domaine scientifique concerné : un niveau d’incertitude mesuré est plus exploitable qu’une simple intuition selon laquelle un modèle semble performant.

Le sujet dépasse les seuls matériaux. Les scientifiques cherchent aussi à bénéficier de la vitesse de prédiction de l’IA dans des domaines comme la découverte de médicaments. Là encore, les conséquences d’une estimation erronée peuvent être importantes, en temps, en ressources et en choix de recherche. La nécessité de disposer d’indicateurs de confiance robustes devient donc centrale à mesure que les modèles sont intégrés dans des décisions plus complexes.

Un outil partagé pour favoriser la vérification

Jenna Bilbrey Pope et Sutanay Choudhury ont engagé un processus de mise à disposition publique de leurs outils sur GitHub. Cet aspect compte autant que la méthode elle-même. En recherche, une approche gagne en crédibilité lorsque d’autres équipes peuvent l’examiner, la tester sur leurs propres jeux de données et identifier ses limites éventuelles.

Cette ouverture peut aussi accélérer l’adoption de bonnes pratiques. Les équipes qui utilisent des potentiels de réseaux neuronaux n’ont pas toutes les mêmes matériaux, les mêmes conditions de simulation ou les mêmes objectifs. Un outil partagé leur permet d’évaluer si la méthode répond à leur cas d’usage, plutôt que de considérer l’incertitude comme une caractéristique abstraite ou réservée à des spécialistes.

L’enjeu économique renforce cette exigence de fiabilité. L’article à l’origine de ces travaux rappelle que les grandes entreprises technologiques consacrent plus de 320 milliards de dollars à l’intelligence artificielle. Dans ce contexte, la course à la puissance de calcul et aux nouveaux modèles ne suffit pas. La valeur de ces systèmes dépend aussi de leur capacité à produire des résultats contrôlables et utiles aux personnes qui les emploient.

Ce qu’il faut surveiller pour juger cette avancée

La question déterminante sera celle de la calibration. Un bon système d’incertitude ne doit ni rassurer excessivement les chercheurs ni déclencher des alertes si fréquentes qu’il rendrait l’IA inutilisable. Il doit faire correspondre, autant que possible, le niveau de confiance annoncé et la fiabilité réellement constatée au cours des tests.

Il faudra aussi vérifier la robustesse de l’approche sur des jeux de données variés, des familles de matériaux différentes et des problèmes scientifiques distincts. Une méthode efficace dans un cadre donné peut nécessiter des ajustements lorsque les données changent ou que les phénomènes étudiés deviennent plus complexes.

Enfin, l’évaluation de l’incertitude ne dispense pas d’une validation expérimentale ou de calculs de référence. Elle permet plutôt de mieux choisir quand ces validations sont indispensables. C’est précisément ce qui peut rendre les laboratoires plus efficaces : non pas croire aveuglément l’IA, mais savoir à quel moment lui faire confiance et à quel moment lui demander davantage de preuves.