RisingAttacK : des images presque inchangées peuvent-elles tromper une IA ?

Une image peut paraître parfaitement ordinaire à l’œil humain tout en conduisant une intelligence artificielle à une interprétation radicalement différente. C’est la faille qu’explore RisingAttacK, une technique de recherche conçue pour influencer ce qu’un système de vision par ordinateur croit reconnaître dans une image, avec des retouches aussi limitées que possible.

L’enjeu dépasse la simple démonstration technique. Les modèles de vision artificielle sont déjà utilisés dans de nombreux outils qui classent des photographies, analysent des scènes routières ou assistent l’interprétation d’images. Si leur perception peut être déplacée par une modification difficile à remarquer, leur fiabilité doit être évaluée avec beaucoup plus de prudence, particulièrement lorsqu’une décision touche à la sécurité ou à la santé.

Présentés en juillet 2025, ces travaux ne démontrent pas qu’un véhicule autonome ou un appareil médical a été compromis dans des conditions réelles. Ils mettent en évidence une vulnérabilité de modèles de vision connus. Cette nuance est essentielle : l’intérêt de ce type de recherche est précisément de révéler les points faibles avant que des personnes malveillantes ne tentent de les exploiter.

Une attaque adversariale, qu’est-ce que c’est ?

Une attaque adversariale consiste à modifier intentionnellement la donnée soumise à une IA pour provoquer une erreur. Dans le cas d’un système de vision, cette donnée est une image. Le but n’est pas forcément de la rendre méconnaissable pour un humain, mais de changer suffisamment certains signaux numériques pour désorienter le modèle.

Les systèmes de vision par ordinateur ne regardent pas une scène comme nous. Ils transforment les pixels en représentations mathématiques, puis comparent ces représentations à ce qu’ils ont appris pendant leur entraînement. Une voiture, un piéton, un panneau ou une anomalie sur une radiographie correspondent ainsi à des configurations que le modèle associe à une catégorie ou à une décision.

Cette manière de fonctionner produit des capacités impressionnantes, mais aussi des angles morts. Des éléments qui semblent secondaires pour une personne peuvent peser lourd dans le calcul d’un modèle. Inversement, un détail visuellement important peut ne pas être interprété comme nous l’attendrions. Les attaques adversariales cherchent à tirer parti de cet écart entre perception humaine et calcul algorithmique.

Les exemples évoqués par les chercheurs donnent la mesure du problème. Une IA utilisée pour repérer un panneau routier ou un piéton pourrait être induite en erreur. Dans le domaine médical, une interférence malveillante avec les images traitées par certains appareils, comme les machines à rayons X, pourrait théoriquement contribuer à un diagnostic erroné. Ce sont des scénarios de risque, non des incidents documentés par l’étude.

Comment RisingAttacK cherche à influencer une IA

RisingAttacK repose sur une idée centrale : obtenir l’effet recherché en apportant le moins de changements possible à l’image. Une retouche massive serait facile à détecter et pourrait aussi altérer inutilement le contenu. La méthode vise donc des modifications ciblées, choisies en fonction de la manière dont le système étudié réagit aux caractéristiques visuelles.

D’après la présentation des travaux, le procédé commence par une identification approfondie des caractéristiques présentes dans l’image. Il évalue ensuite les éléments les plus déterminants pour atteindre l’objectif de manipulation. Enfin, il mesure la sensibilité de l’IA aux variations de ces éléments afin d’ajuster les modifications.

Cette logique permet de comprendre pourquoi deux images quasi semblables peuvent conduire à deux résultats distincts. Pour un humain, les changements peuvent ne pas modifier le sens général de la scène. Pour le modèle ciblé, ils peuvent suffire à faire évoluer la représentation interne qui l’amène à signaler, ou au contraire à ne plus signaler, la présence d’une voiture par exemple.

Il ne s’agit pas pour autant d’un contrôle universel et automatique de tous les systèmes de vision. La réussite d’une attaque dépend du modèle évalué, de l’image utilisée et de l’objectif fixé. Les informations disponibles ne fournissent pas de taux de réussite chiffré, ni de démonstration sur l’ensemble des logiciels intégrant aujourd’hui de la vision artificielle. Il serait donc abusif d’en déduire que toute caméra, toute application ou tout véhicule équipé d’IA est vulnérable de la même manière.

Quatre modèles de vision testés

L’équipe a évalué RisingAttacK sur quatre systèmes de vision par IA largement utilisés : ResNet-50, DenseNet-121, ViTB et DEiT-B. Les résultats rapportés confirment que la technique a réussi à manipuler chacun de ces modèles dans le cadre des tests.

Ces noms renvoient à des architectures de référence en vision par ordinateur. ResNet-50 et DenseNet-121 appartiennent à des familles de réseaux neuronaux conçues pour extraire des caractéristiques à partir d’images. ViTB et DEiT-B sont, eux, associés à l’essor des transformeurs appliqués à la vision, une approche qui analyse notamment les relations entre différentes parties d’une image.

Tester plusieurs familles compte autant que le résultat lui-même. Si une faiblesse ne concernait qu’une architecture très particulière, les parades pourraient être plus simples à circonscrire. Le fait que la technique ait été évaluée contre des modèles différents incite au contraire à examiner la robustesse de la vision artificielle de façon plus large.

Les chercheurs envisagent également d’étudier si l’approche peut être étendue à d’autres domaines de l’IA, notamment aux modèles destinés au traitement du langage. À ce stade, RisingAttacK a été démontrée sur des modèles de vision. Une possible extension aux systèmes de langage reste donc une piste de recherche, et non une capacité déjà établie.

Pourquoi les applications critiques sont concernées

Les attaques adversariales préoccupent particulièrement lorsque l’IA intervient dans une chaîne de décision à fort impact. Dans une application de navigation ou de conduite assistée, ne pas reconnaître correctement une information visuelle pertinente peut créer un risque. Dans un contexte médical, une image mal interprétée peut fausser l’évaluation d’un professionnel si elle est utilisée sans contrôles suffisants.

Cela ne signifie pas qu’une IA doit être écartée de ces secteurs. Cela impose plutôt de ne pas la traiter comme un capteur infaillible. Dans les usages sensibles, la décision ne devrait pas reposer aveuglément sur une seule prédiction automatique. Des vérifications croisées, des dispositifs de surveillance et une intervention humaine adaptée sont des moyens de réduire les conséquences d’une erreur.

La sécurité ne dépend pas uniquement du modèle. Elle concerne toute la chaîne : la provenance de l’image, les appareils qui l’acquièrent, les systèmes qui la transmettent, l’environnement logiciel qui la traite et les procédures appliquées lorsqu’un résultat paraît incohérent. Une image peut être fidèle à la réalité mais mal classée par le modèle. Elle peut aussi être altérée avant d’arriver au modèle. Ces deux problèmes appellent des protections différentes.

Révéler les failles pour mieux les corriger

Tianfu Wu, professeur associé en ingénierie électrique et informatique à l’université de Caroline du Nord, insiste sur l’importance de mettre ces vulnérabilités au jour afin de pouvoir s’en défendre. Cette démarche relève d’une logique classique de sécurité informatique : identifier une faiblesse, en comprendre les mécanismes, puis développer des protections et vérifier leur efficacité.

Plusieurs orientations générales peuvent renforcer un système de vision face à ce type de menace :

• entraîner et évaluer les modèles sur des images comportant des perturbations variées ;
• mettre en place des contrôles capables de signaler une image inhabituelle ou suspecte ;
• comparer les résultats de plusieurs méthodes plutôt que de dépendre d’un seul modèle ;
• conserver des procédures de validation humaine pour les décisions les plus sensibles.

Aucune de ces pistes n’offre, à elle seule, une garantie absolue. Une défense peut être contournée, et un système robuste face à une forme de manipulation peut rester fragile face à une autre. C’est pourquoi les chercheurs parlent moins d’un correctif définitif que d’un travail continu d’évaluation, de test et d’amélioration.

Pour les entreprises et administrations qui déploient de la vision artificielle, la leçon est concrète : la précision affichée dans des conditions normales ne suffit pas à juger la fiabilité d’un outil. Il faut aussi examiner son comportement face à des entrées imprévues, dégradées ou volontairement manipulées. La cybersécurité de l’IA devient ainsi une question de qualité et de gouvernance, pas seulement une affaire de performance technique.

Ce qu’il faut surveiller après la présentation à l’ICML

Les résultats sur RisingAttacK doivent être présentés à l’International Conference of Machine Learning, organisée à Vancouver en juillet 2025. Cette conférence est l’un des rendez-vous majeurs de la recherche en apprentissage automatique, où les méthodes sont discutées, comparées et soumises à l’examen de la communauté scientifique.

La suite dépendra de deux questions. La première est la portée réelle de la méthode : les recherches futures permettront de déterminer comment elle se comporte sur d’autres architectures, d’autres types d’images et, éventuellement, d’autres catégories de systèmes d’IA. La seconde est défensive : il faudra mesurer quelles protections résistent effectivement à ces manipulations sans dégrader excessivement les performances ordinaires des modèles.

Pour le grand public, RisingAttacK rappelle une réalité parfois oubliée : une IA qui « voit » ne comprend pas une image comme une personne. Elle produit une interprétation à partir de calculs et d’exemples appris. Cette interprétation peut être très utile, mais elle mérite des garde-fous, surtout lorsqu’elle sert à orienter une décision dont les conséquences dépassent largement l’écran qui affiche l’image.