Cybersécurité : le fonds pour la sécurité de l’IA ouvre ses financements

Les modèles d’intelligence artificielle ne servent plus seulement à rédiger un texte, résumer un document ou produire du code. Leurs capacités peuvent aussi transformer la cybersécurité, pour aider à repérer une faille comme pour accélérer certaines tâches offensives. C’est dans ce contexte que le Fonds pour la sécurité de l’IA, l’AISF, lance un appel à projets visant à financer des recherches sur les risques cyber associés aux systèmes d’IA avancés.

Publié en décembre 2024, cet appel entend soutenir des équipes capables d’examiner concrètement les vulnérabilités de ces modèles, leurs usages dans des scénarios de sécurité informatique et les protections à mettre en place. Les propositions doivent être déposées avant le 20 janvier 2025. Les projets retenus pourront obtenir entre 350 000 et 600 000 dollars.

L’enjeu dépasse la seule performance technique. À mesure que l’IA est intégrée aux outils de développement, aux services en ligne et aux systèmes d’information, il devient nécessaire de savoir précisément ce qu’un modèle peut faire, dans quelles conditions il peut être détourné et comment limiter les dégâts avant un déploiement à grande échelle.

Un appel à projets centré sur la sécurité des modèles avancés

L’AISF présente cet appel comme un moyen d’encourager le développement de systèmes d’IA plus responsables et de réduire les risques liés à leur diffusion. Son objectif est également de faciliter des évaluations indépendantes et standardisées de la sécurité et des capacités des modèles.

En pratique, il ne s’agit pas de financer n’importe quel projet portant sur l’intelligence artificielle ou la cybersécurité. Les recherches proposées doivent porter sur des modèles d’IA de pointe et sur leurs versions déployées. Elles doivent surtout contribuer à évaluer ou à améliorer la sécurité de ces systèmes dans le champ cyber.

Le montant annoncé place cet appel dans une catégorie de financements susceptibles de permettre des travaux substantiels : constitution d’une équipe de recherche, mise en place de protocoles de test, création d’outils d’évaluation ou conduite d’études interdisciplinaires. L’article de l’appel ne précise toutefois ni le nombre de projets qui seront retenus ni le budget total consacré au programme.

Pourquoi l’IA pose-t-elle une question particulière en cybersécurité ?

L’intelligence artificielle est un outil à double usage. Les mêmes facultés qui peuvent assister les défenseurs peuvent aussi intéresser des acteurs malveillants. Un système capable d’analyser rapidement de grandes quantités de code peut, par exemple, aider à identifier un défaut de sécurité dans un logiciel. Mais cette capacité devient préoccupante si elle permet aussi de faciliter l’exploitation d’une faiblesse ou l’adaptation d’un programme malveillant.

Cette dualité ne signifie pas que toute IA est capable de mener seule une intrusion informatique. Les conditions réelles comptent beaucoup : l’accès à des outils, la fiabilité des réponses, les contrôles mis en place par l’éditeur, les droits accordés à l’utilisateur et l’intervention humaine. Pourtant, l’augmentation des capacités des modèles oblige les concepteurs à ne plus se limiter à des tests portant sur la qualité conversationnelle ou la productivité.

Les chercheurs doivent aussi poser des questions plus exigeantes : un modèle peut-il reconnaître une vulnérabilité nouvelle ? Peut-il enchaîner plusieurs étapes techniques sans perdre le fil ? Peut-il contourner les restrictions prévues par son environnement ? Ses réponses restent-elles sûres lorsqu’un utilisateur tente de le pousser vers un usage nocif ?

Pour les entreprises, les administrations et les particuliers, l’enjeu est très concret. Une IA intégrée à un assistant de programmation, à un outil de gestion informatique ou à une plateforme de traitement des données peut avoir accès à des informations sensibles. Avant de lui confier des tâches importantes, il faut donc savoir ce qu’elle est autorisée à faire, ce qu’elle peut réellement faire et quels mécanismes empêchent qu’elle ne dépasse son rôle.

Quels types de recherches l’AISF veut-il soutenir ?

L’appel cible des travaux techniques consacrés à l’identification des vulnérabilités et des menaces émergentes. Il vise aussi la mise au point de mesures de sécurité adaptées aux systèmes d’IA. L’idée est d’aller au-delà des principes généraux pour produire des méthodes capables de tester les modèles dans des situations représentatives des risques cyber modernes.

Parmi les priorités évoquées figurent les recherches permettant de déterminer et d’exploiter des vulnérabilités de sécurité innovantes dans un cadre d’évaluation. Cette formulation peut sembler paradoxale, mais elle correspond à une pratique connue de la cybersécurité : comprendre comment une faiblesse pourrait être exploitée est souvent nécessaire pour en mesurer la gravité et pour élaborer une protection efficace.

L’AISF s’intéresse également à l’automatisation de chaînes d’attaque complexes et à l’adaptation de codes d’exploitation aux menaces contemporaines. Dans le cadre d’un programme de recherche sur la sécurité, ces sujets servent à mesurer jusqu’où vont les capacités opérationnelles d’un modèle et à déterminer les contrôles nécessaires pour éviter les usages abusifs.

Les propositions devront donc démontrer leur utilité pour l’évaluation et la réduction des risques, et non se limiter à montrer qu’un modèle est performant. Une démonstration spectaculaire de capacité offensive ne suffit pas : l’enjeu est de disposer d’une méthode robuste, reproductible et utile à la protection des systèmes.

Évaluer les modèles avant et après leur déploiement

Le fait que l’appel couvre à la fois les modèles de pointe et leurs versions déployées est important. Un modèle ne se comporte pas nécessairement de la même façon dans un environnement expérimental et dans un produit accessible à des utilisateurs. Une fois connecté à des outils, à des bases de code ou à des services externes, son champ d’action peut évoluer.

Les évaluations peuvent ainsi porter sur plusieurs dimensions : les connaissances en cybersécurité du modèle, sa capacité à raisonner sur une tâche complexe, sa faculté à utiliser des outils mis à sa disposition et sa résistance aux tentatives de contournement de ses règles. Elles peuvent aussi examiner les effets de la présentation des consignes, du niveau de détail demandé ou de l’accès à des ressources supplémentaires.

La standardisation est particulièrement utile dans ce domaine. Sans protocole commun, deux acteurs peuvent affirmer qu’un même système est sûr tout en ayant réalisé des tests très différents. Des cadres d’évaluation cohérents permettraient de comparer plus clairement les résultats, de détecter les progrès comme les régressions, et d’établir des seuils de vigilance partagés.

À qui s’adresse le financement et comment candidater ?

L’AISF prévoit de soutenir des entités variées : des laboratoires académiques, des organisations à but non lucratif et des chercheurs indépendants. Cette ouverture est cohérente avec la nature du sujet. Les travaux les plus utiles peuvent naître dans les universités, les collectifs de recherche spécialisés en sécurité informatique ou les structures capables de conduire des audits techniques indépendants.

Pour être éligibles, les propositions doivent toutefois rester concentrées sur la sécurité de l’IA appliquée à la cybersécurité. Un projet trop éloigné de l’évaluation des modèles avancés, ou portant sur une technologie sans lien direct avec ces systèmes, ne correspondrait pas au périmètre annoncé.

Les équipes candidates doivent consulter les instructions et les directives du programme publiées par l’AISF. Elles devront notamment expliquer le problème étudié, la méthode envisagée, les résultats attendus et la manière dont le projet contribuera à l’évaluation ou à l’amélioration de la sécurité. La date du 20 janvier 2025 constitue le point de repère essentiel pour le dépôt des propositions.

Pour les chercheurs, cet appel pose aussi une question de responsabilité. Les travaux consacrés aux capacités cybernétiques de l’IA peuvent manipuler des informations sensibles. Les protocoles doivent donc protéger les systèmes examinés, éviter une diffusion imprudente de méthodes exploitables et conserver l’objectif défensif de la recherche.

Une recherche utile à condition d’être partagée et encadrée

L’article de l’appel indique que les résultats des projets financés ont vocation à être publiés et partagés avec la communauté scientifique et les parties prenantes. Ce principe peut accélérer l’apprentissage collectif : une méthode d’évaluation solide peut être reprise par d’autres laboratoires, des développeurs de modèles ou des organisations chargées de la sécurité numérique.

La transparence présente néanmoins une difficulté propre à la cybersécurité. Rendre publics les résultats aide à vérifier les travaux et à diffuser les bonnes pratiques. Mais un niveau de détail excessif peut aussi renseigner des personnes cherchant à tirer parti d’une faiblesse. Le défi consiste à partager ce qui améliore la défense sans fournir un mode d’emploi utilisable à des fins nuisibles.

La dimension interdisciplinaire souhaitée par l’AISF peut apporter une réponse partielle. La sécurité des modèles ne relève pas uniquement de l’informatique. Elle touche également à la gouvernance des organisations, aux conditions d’accès aux outils, aux procédures de signalement, à la protection des données et aux décisions prises par les responsables de produits.

Ce qu’il faut surveiller d’ici janvier 2025

Cet appel à projets illustre une évolution importante : la sécurité de l’IA ne peut plus être traitée comme une étape finale, ajoutée après la conception d’un modèle. Elle devient un axe de recherche à part entière, au même titre que l’amélioration des performances ou la réduction des coûts de calcul.

Il faudra suivre les projets qui seront sélectionnés, les méthodes d’évaluation qu’ils proposeront et leur capacité à être reprises au-delà de leurs équipes d’origine. La valeur du programme se mesurera moins au montant annoncé qu’à l’utilité des outils et des références produits pour tester des systèmes réels.

À court terme, la principale échéance reste le 20 janvier 2025. À plus long terme, le défi sera d’installer des évaluations régulières, indépendantes et suffisamment rigoureuses pour suivre des modèles dont les capacités évoluent rapidement. Financer cette recherche est une première étape. Faire de ses résultats des pratiques durables pour les concepteurs et les déployeurs d’IA en sera une autre.