Qualys TotalAI veut sécuriser les modèles de langage sur tout leur cycle de vie

Lorsqu’un modèle de langage répond à un salarié, conseille un client ou alimente un processus métier, il ne constitue pas seulement un nouvel outil de productivité. Il devient aussi un composant du système d’information, avec ses accès, ses données, ses dépendances logicielles et ses propres modes de défaillance. C’est ce déplacement que Qualys entend prendre en compte avec TotalAI, une offre dédiée à la sécurité des systèmes d’IA générative.

Le sujet dépasse désormais le stade de l’expérimentation isolée. Les grands modèles de langage, aussi appelés LLM, sont progressivement intégrés à des fonctions commerciales, opérationnelles et techniques. Or leur déploiement rapide peut créer un décalage entre l’innovation et les capacités de contrôle des équipes de cybersécurité. L’enjeu n’est pas de bloquer l’IA, mais de savoir quels modèles sont utilisés, quelles données ils peuvent recevoir ou restituer, et comment ils réagiraient à une tentative de manipulation.

L’adoption des LLM fait émerger une nouvelle surface d’attaque

Les chiffres cités par Qualys illustrent cette tension : 72 % des responsables de la sécurité informatique interrogés se disent préoccupés par le risque de violation de sécurité lié à l’intégration de l’IA générative. Près de 70 % des organisations prévoient par ailleurs de déployer des LLM dans un avenir proche.

Ces données doivent être lues avec prudence, car les informations disponibles ne précisent pas la méthode ni le commanditaire de l’étude évoquée. Elles traduisent néanmoins une préoccupation largement partagée : les organisations adoptent des assistants et des modèles plus vite qu’elles ne mettent en place un inventaire et des contrôles adaptés.

Un LLM ne s’attaque pas exactement comme un serveur ou une application classique. Il interprète des instructions en langage naturel, peut être connecté à des bases documentaires ou à des outils, et peut aussi traiter plusieurs types de contenus. Une requête, un document, une image, un fichier audio ou une vidéo peuvent alors devenir des vecteurs d’influence sur sa réponse.

Pourquoi la visibilité est le premier problème à résoudre

Avant de corriger une vulnérabilité, encore faut-il savoir que le système concerné existe. Dans de nombreuses entreprises, des équipes métiers ou de développement peuvent tester un modèle, déployer un assistant ou connecter une interface à un service externe sans que le service de sécurité en dispose d’une vision complète. Ces usages non référencés compliquent la gestion des risques.

Qualys présente TotalAI comme un moyen d’obtenir une visibilité unifiée sur l’écosystème d’IA. L’outil doit identifier où les modèles sont exécutés, les équipements ou environnements qui les supportent, ainsi que les vulnérabilités qui y sont associées. Il s’appuie notamment sur le fingerprinting, c’est-à-dire l’identification d’empreintes techniques permettant de reconnaître les composants présents.

L’objectif est de couvrir les déploiements hébergés sur site et dans le cloud. Pour une équipe de sécurité, cette cartographie sert notamment à distinguer les modèles approuvés des composants oubliés, expérimentaux ou non autorisés. Elle permet aussi de relier un risque propre au modèle à son contexte technique : machine hôte, environnement cloud, dépendances et exposition éventuelle.

Cette étape est déterminante. Un outil d’IA peut respecter les règles internes sur le papier tout en étant déployé dans un environnement insuffisamment protégé. À l’inverse, une infrastructure correctement administrée ne garantit pas qu’un modèle résistera à une consigne malveillante ou ne révélera pas une information qu’il n’aurait pas dû traiter.

Ce que Qualys TotalAI cherche à évaluer

Qualys ne présente pas TotalAI comme un simple scanner de vulnérabilités. La promesse est d’évaluer également les risques comportementaux spécifiques aux modèles de langage. La solution teste notamment les jailbreaks, les biais, les injections de prompts et l’exposition d’informations sensibles.

Les résultats sont associés aux tactiques adversariales du référentiel MITRE ATLAS, puis hiérarchisés par le mécanisme TruRisk de Qualys. MITRE ATLAS recense des techniques employées contre les systèmes d’IA ou de machine learning. L’intérêt d’un tel rapprochement est de donner aux équipes un langage commun pour relier une faiblesse observée à un scénario d’attaque connu et, surtout, pour définir des priorités de correction.

La logique diffère de celle d’un contrôle qui se limiterait à vérifier si un logiciel installé comporte une faille connue. Ici, il faut aussi demander comment le modèle réagit à une demande adversariale, à une donnée ambiguë ou à une instruction cachée dans un contenu qu’il est censé analyser.

Des tests de jailbreak à intégrer au développement

En avril 2025, les évolutions mises en avant par Qualys incluent la possibilité de conduire des tests de sécurité internes sur des modèles hébergés par l’organisation. Cette précision compte pour les entreprises qui ne souhaitent pas nécessairement envoyer leurs modèles, leurs prompts de test ou certains jeux de données vers un service tiers.

La solution est également conçue pour intégrer ces évaluations aux chaînes CI/CD, les processus automatisés qui servent à intégrer, tester et déployer les logiciels. Transposé à l’IA, ce principe consiste à tester le modèle ou l’application qui l’utilise avant sa mise en production, puis à renouveler les contrôles au fil des changements.

Qualys indique alors couvrir plus de 38 scénarios d’attaques liés notamment aux jailbreaks et aux injections de prompts, avec une extension prévue à 40 scénarios. Ces tests cherchent à simuler des tentatives de contournement des règles fixées au modèle. Ils ne rendent pas un système invulnérable, car les techniques évoluent et les réponses des modèles peuvent varier. Ils permettent toutefois de détecter plus tôt des comportements problématiques.

L’approche précoce est particulièrement pertinente dans un cycle de développement rapide. Corriger une connexion trop permissive, une consigne système insuffisante ou un filtrage de données défaillant avant la mise en ligne coûte généralement moins cher que répondre à un incident affectant des utilisateurs, des clients ou des données sensibles.

La chaîne d’approvisionnement de l’IA devient un maillon critique

Les applications d’IA ne reposent presque jamais sur un seul modèle. Elles combinent bibliothèques logicielles, modèles ouverts ou propriétaires, connecteurs, jeux de données, services cloud et outils de développement. Cette accumulation de dépendances élargit la chaîne d’approvisionnement à protéger.

TotalAI propose une surveillance continue des attaques par hallucination de paquets. Le phénomène part d’une limite connue des modèles de langage : lorsqu’ils sont interrogés sur une bibliothèque ou une commande, ils peuvent parfois recommander un paquet qui n’existe pas réellement. Un acteur malveillant peut alors enregistrer un paquet portant ce nom et y intégrer du code dangereux, dans l’espoir qu’un développeur l’installe sur la recommandation du modèle.

Ce risque ne signifie pas que chaque réponse erronée d’un assistant de programmation est malveillante. Mais dans un environnement professionnel, une suggestion technique ne devrait pas être installée sans vérification de son existence, de sa provenance, de sa réputation et de ses dépendances. La surveillance proposée par Qualys vise à signaler ce type de recommandation suspecte avant qu’elle ne devienne une porte d’entrée dans l’environnement de développement.

Images, audio et vidéo : le défi des attaques multimodales

Les modèles capables de comprendre plusieurs formats ne lisent plus seulement du texte. Ils analysent aussi des images, des extraits audio ou des vidéos. Cette capacité améliore leurs usages, par exemple pour indexer des documents ou assister des utilisateurs, mais elle ouvre aussi la voie à des manipulations plus discrètes.

Qualys indique renforcer la détection de perturbations cachées dans des contenus audio, vidéo et image. L’objectif est d’identifier des éléments conçus pour influencer le résultat d’un modèle, alors que l’utilisateur ou l’application pense lui soumettre un contenu ordinaire.

La difficulté est que ces entrées multimodales peuvent circuler à travers des chaînes complexes : une pièce jointe envoyée à un assistant, une image extraite d’un document, une vidéo analysée par un outil métier ou un contenu récupéré depuis une source externe. La sécurité doit donc tenir compte de la provenance des fichiers, des droits d’accès du modèle et de la possibilité de vérifier les décisions ou sorties produites.

Ce qu’il faut surveiller dans la sécurisation des IA génératives

La proposition de Qualys répond à un besoin concret : rapprocher la sécurité des modèles de langage de la cybersécurité déjà pratiquée dans les entreprises. Pour les clients utilisant la plateforme Qualys, l’intégration de ces capacités peut éviter de reconstruire entièrement leur dispositif de contrôle. Cela ne dispense pas, pour autant, d’une gouvernance interne claire.

Les organisations devront notamment surveiller quatre points : l’inventaire réel des IA utilisées, les données auxquelles chaque système peut accéder, les connexions entre modèles et outils externes, et la fréquence des tests face à des scénarios adversariaux. La conformité, la protection de la propriété intellectuelle et la confiance des clients dépendront largement de cette capacité à documenter les usages et à agir avant l’incident.

La sécurité des LLM ne se résume donc pas à une fonctionnalité ajoutée après coup. Elle devient une discipline continue, qui relie développeurs, équipes de sécurité, responsables des données et métiers. Les outils tels que TotalAI peuvent fournir une couche de visibilité et de priorisation. Leur efficacité dépendra ensuite de la manière dont les alertes sont vérifiées, corrigées et intégrées aux pratiques quotidiennes de l’entreprise.