Une méthode de pruning pour réduire les corrélations fallacieuses en IA

Un système d’intelligence artificielle ne se trompe pas toujours parce qu’il « comprend » mal son sujet. Il peut aussi avoir appris le mauvais raccourci. Si, dans une base d’images, les chiens portent très souvent un collier et les chats rarement, un modèle de reconnaissance visuelle peut faire du collier son principal indice. Il paraîtra alors performant sur des images semblables à celles de son entraînement, mais classera à tort un chat portant un collier comme un chien.

Ce type d’erreur porte un nom : la corrélation fallacieuse, aussi appelée corrélation spurieuse dans les travaux de recherche. Le problème ne concerne pas seulement les images d’animaux. Il touche tous les systèmes qui tirent des prédictions de grands jeux de données : vision par ordinateur, analyse de texte, outils d’aide à la décision ou encore classification automatisée. Des chercheurs de l’Université d’État de Caroline du Nord proposent une piste pour réduire ce risque : retirer, au cours de l’entraînement, une petite partie des exemples les plus complexes, sans devoir repérer au préalable les indices trompeurs.

Quand une IA apprend le mauvais raccourci

Une corrélation n’est pas en elle-même une erreur. Elle indique simplement que deux éléments apparaissent fréquemment ensemble dans un jeu de données. Pour un modèle statistique, ce lien peut devenir un signal pratique pour prédire une réponse. Le problème survient lorsque ce signal est accidentel, fragile ou sans rapport réel avec ce que le système devrait reconnaître.

Dans l’exemple des chiens et des chats, la présence d’un collier peut être très corrélée à la catégorie « chien » dans les images utilisées pour l’apprentissage. Pourtant, un collier ne définit pas l’espèce d’un animal. Le modèle qui s’y fie risque donc d’échouer face à des photos prises dans un autre contexte, avec d’autres habitudes de propriétaires, d’autres cadrages ou d’autres animaux.

Ce phénomène est lié à ce que les chercheurs appellent un biais de simplicité. Lorsqu’un modèle dispose de plusieurs indices pour résoudre une tâche, il peut privilégier celui qui lui permet de réduire rapidement ses erreurs pendant l’entraînement. Les détails les plus simples à exploiter ne sont pas nécessairement les plus robustes. Dans une image, cela peut être un accessoire, un arrière-plan ou un angle de prise de vue. Dans d’autres types de données, il peut s’agir d’un mot très fréquent, d’un format de document ou d’une information contextuelle répétée.

Pourquoi les méthodes classiques sont difficiles à appliquer

La réponse la plus directe à une corrélation fallacieuse consiste à identifier l’indice problématique, puis à corriger les données ou l’entraînement. Une équipe peut, par exemple, constater qu’un modèle regarde surtout les colliers, enrichir la base avec davantage de chats portant un collier et de chiens n’en portant pas, ou concevoir une méthode qui force le système à ignorer cet attribut.

Cette stratégie a une limite majeure : encore faut-il savoir quel est le raccourci utilisé. Or, dans des jeux de données massifs, les variables susceptibles d’influencer une prédiction sont nombreuses. Certaines ne sont même pas explicitement annotées. Un détail visuel discret, une composition récurrente, un bruit de fond ou une combinaison de plusieurs signaux peuvent guider le modèle sans être visible pour les personnes qui l’ont entraîné.

La difficulté s’accroît lorsque le biais ne correspond pas à une caractéristique unique. Un système peut exploiter un ensemble de petits indices apparemment anodins. Demander aux praticiens de tous les répertorier revient alors à leur imposer une enquête longue, coûteuse et parfois impossible. C’est précisément ce verrou que vise l’étude intitulée « Severing Spurious Correlations with Data Pruning ».

Une technique de data pruning qui ne cherche pas d’abord le biais

Les travaux sont menés par Jung-Eun Kim, professeur adjoint en informatique, et Varun Mulchandani, doctorant à l’Université d’État de Caroline du Nord. Présentée dans le cadre de la conférence internationale sur l’apprentissage des représentations, ICLR, leur méthode s’appuie sur le data pruning, c’est-à-dire l’élagage sélectif d’un jeu de données.

L’idée pourrait sembler contre-intuitive. Dans de nombreux projets d’IA, la priorité est de collecter toujours plus de données. Ici, les chercheurs s’intéressent au contraire à la possibilité d’en retirer une petite portion. Il ne s’agit pas de supprimer les exemples au hasard, ni de nettoyer uniquement des fichiers manifestement erronés. La méthode évalue la complexité des échantillons présents dans le jeu de données et filtre ceux considérés comme difficiles, notamment parce qu’ils comportent davantage d’ambiguïtés.

Selon les auteurs, ces exemples complexes peuvent favoriser l’apprentissage de relations non pertinentes. Les retirer pendant l’entraînement aide donc le modèle à moins dépendre de caractéristiques fallacieuses. Le point central est que cette sélection ne requiert pas d’indiquer à la machine ce qu’est le biais à éliminer. Elle vise les propriétés des exemples eux-mêmes, plutôt qu’un attribut suspect préalablement identifié par une personne.

Le déroulement général peut se résumer ainsi :

1. le modèle est entraîné à partir d’un jeu de données comportant des exemples de difficulté variable ;
2. la méthode évalue la complexité de ces exemples ;
3. une petite partie des données les plus difficiles ou ambiguës est écartée ;
4. le modèle est entraîné sur le jeu ainsi filtré afin de réduire sa dépendance à des indices trompeurs.

Le mot « difficile » mérite toutefois d’être bien compris. Il ne signifie pas automatiquement qu’un exemple est inutile, ni qu’il comporte une erreur d’étiquetage. Un exemple peut être parfaitement valide tout en étant ambigu, atypique ou propice à l’exploitation de raccourcis statistiques par le modèle. C’est cette distinction qui fait du pruning une démarche différente d’un simple nettoyage de données défectueuses.

Ce que la méthode change par rapport à la correction ciblée

Dans l’approche classique, l’expertise humaine joue un rôle central : il faut diagnostiquer le biais, déterminer l’attribut qui le produit et concevoir une correction adaptée. Cette voie reste utile lorsqu’un problème est clairement établi, par exemple si un arrière-plan ou un accessoire est connu pour influencer les prédictions.

La méthode proposée par les chercheurs de Caroline du Nord cherche plutôt à intervenir avant ce diagnostic détaillé. Son intérêt potentiel est particulièrement fort lorsque les équipes ne savent pas quelles variables surveiller. En pratique, cela peut réduire la dépendance à des annotations supplémentaires et à des contrôles manuels très spécifiques.

Cette promesse ne signifie pas qu’il faudrait supprimer indistinctement toutes les données complexes. Les cas difficiles peuvent aussi contenir une diversité essentielle : situations rares, objets partiellement visibles, formulations inhabituelles ou contextes moins représentés. Les éliminer sans discernement risquerait de rendre un modèle moins apte à répondre à la réalité du terrain. La contribution de cette recherche tient donc à une sélection guidée par sa technique de pruning, et non à l’idée générale selon laquelle des données moins nombreuses seraient systématiquement meilleures.

Des résultats annoncés comme supérieurs aux approches antérieures

Les chercheurs indiquent que leur technique obtient des performances nettement supérieures à celles de méthodes précédentes. Le résultat est d’autant plus notable, selon l’étude, que cette amélioration est observée y compris par rapport à des approches dans lesquelles les caractéristiques fallacieuses étaient identifiables.

Les informations disponibles à ce stade ne permettent pas de résumer l’étude par un unique pourcentage de gain, et ce serait trompeur : les résultats d’un modèle dépendent du jeu de données, de la tâche évaluée et de la nature du biais introduit. La portée de la proposition réside plutôt dans son mécanisme. Elle tente d’améliorer la robustesse d’un système même lorsque les personnes qui le développent ignorent le raccourci précis qu’il est en train d’apprendre.

Cette nuance compte pour l’évaluation des systèmes d’IA. Un modèle peut obtenir d’excellents résultats sur une base de test très proche de sa base d’entraînement, tout en restant vulnérable dès que certaines habitudes de collecte changent. Tester un système sur des données plus variées, ou dans des contextes où l’indice trompeur n’est plus aligné avec la bonne réponse, permet de vérifier qu’il ne s’est pas contenté de mémoriser une coïncidence.

Quelles applications et quelles limites ?

La recherche ouvre des perspectives dans la vision par ordinateur, où les détails visuels accidentels sont particulièrement fréquents. Elle pourrait aussi intéresser l’analyse de données au sens large, dès lors qu’un modèle risque de confondre une association répétée avec une caractéristique véritablement utile à sa prédiction.

Pour les équipes qui développent des modèles, le bénéfice attendu est une baisse des erreurs liées à des facteurs non pertinents et, plus largement, une meilleure fiabilité des classifications. Mais cette méthode ne dispense pas d’un travail rigoureux sur les données. La qualité des annotations, la diversité des exemples, la définition de la tâche et les tests dans des conditions proches de l’usage réel restent déterminants.

Elle ne remplace pas non plus l’examen humain des conséquences d’une erreur. Dans les domaines où une classification erronée peut avoir de lourdes répercussions, il demeure nécessaire de comprendre les limites du modèle, d’évaluer les populations ou situations sous-représentées et de prévoir des contrôles adaptés. Réduire les corrélations fallacieuses est une étape importante vers des systèmes plus solides, pas une garantie universelle d’absence de biais.

Ce qu’il faut surveiller

La suite des travaux devra déterminer dans quelles situations ce pruning conserve son efficacité. Les questions clés sont concrètes : quels types d’ambiguïtés la méthode écarte-t-elle réellement ? Quelle quantité de données peut être retirée sans réduire la couverture de cas importants ? Et comment se comporte le modèle face à des données provenant de contextes très différents de ceux utilisés pendant son entraînement ?

L’étude de Jung-Eun Kim et Varun Mulchandani rappelle une leçon fondamentale de l’apprentissage automatique : ajouter des données ne suffit pas toujours. Il faut aussi s’assurer que les exemples fournis au modèle l’encouragent à apprendre les bonnes régularités. En permettant de traiter des corrélations fallacieuses sans en connaître d’avance la forme exacte, le data pruning proposé apporte une piste concrète pour rendre cette étape moins dépendante d’un diagnostic humain exhaustif.