Anthropic ouvre à Claude un contrôle limité de l’ordinateur, sous haute surveillance

Demander à une IA de rédiger un courriel ou de résumer un document est une chose. La laisser cliquer, saisir du texte et naviguer dans des logiciels en est une autre. Avec sa nouvelle fonction de contrôle d’ordinateur, Anthropic franchit cette frontière : Claude ne se contente plus de répondre dans une fenêtre de discussion, il peut recevoir des informations visuelles sur une interface et proposer les gestes nécessaires pour y accomplir une tâche.

L’annonce, faite le 22 octobre 2024, s’inscrit dans une évolution plus large des assistants d’intelligence artificielle. Ces outils deviennent progressivement capables d’enchaîner des étapes, comme un opérateur devant son écran. Mais cette promesse d’automatisation s’accompagne d’un principe essentiel : plus une IA peut agir, plus il faut encadrer ce qu’elle voit, ce qu’elle est autorisée à faire et les conséquences de ses erreurs.

Une IA qui utilise le clavier et le curseur

Anthropic a présenté une version améliorée de Claude 3.5 Sonnet, ainsi que Claude 3.5 Haiku, un modèle plus léger. La nouveauté la plus marquante concerne toutefois l’outil baptisé « computer use », proposé en bêta aux développeurs par l’intermédiaire de l’API d’Anthropic.

Le mécanisme s’inspire d’une interaction humaine avec un ordinateur. Une application peut transmettre à Claude une capture de l’écran concerné. Le modèle analyse alors l’interface, indique où déplacer le curseur, quel bouton sélectionner ou quel texte saisir. L’application qui l’emploie exécute ensuite ces instructions et renvoie le nouvel état de l’écran. Ce cycle peut se répéter jusqu’à l’achèvement de la tâche ou jusqu’à l’intervention d’un humain.

Cette approche diffère des intégrations classiques, dans lesquelles un assistant dialogue directement avec un logiciel par une interface technique dédiée, appelée API. Ici, Claude peut en théorie se repérer dans une interface graphique, y compris lorsqu’aucune connexion spécifique n’a été développée pour chaque bouton ou chaque champ de formulaire.

Cette capacité peut servir à automatiser des manipulations répétitives, à tester des interfaces ou à accomplir des séquences simples dans un navigateur et des logiciels. Elle ouvre aussi la voie à des agents capables d’exécuter une consigne plus concrète qu’un simple texte, par exemple en passant d’une application à une autre pour réunir des informations ou remplir des champs.

Un contrôle restreint, pas une prise en main totale

L’expression « contrôle de l’ordinateur » peut prêter à confusion. La fonction d’Anthropic ne signifie pas que Claude reçoit d’un coup les droits d’administrateur sur l’ordinateur d’un particulier, ni qu’il peut explorer librement l’ensemble de ses données personnelles. La portée réelle de l’outil dépend du programme qui l’intègre et de l’environnement dans lequel ce programme est exécuté.

Dans le fonctionnement décrit par Anthropic, le modèle ne réalise pas lui-même l’action physique sur la machine. Il formule une instruction, par exemple un déplacement de souris ou une frappe au clavier. C’est l’application construite par le développeur qui décide de l’exécuter, dans un navigateur, une machine virtuelle, un environnement de test ou un poste de travail auquel elle a reçu certains droits.

C’est une distinction importante. Les garde-fous ne reposent pas seulement sur le modèle d’IA, mais aussi sur les choix du logiciel qui l’entoure : quelles fenêtres sont accessibles, quelles données sont affichées, quelles actions demandent une confirmation et quels comptes sont connectés.

Pour un utilisateur, il faut donc se méfier des formulations trop générales, telles que « Claude peut accéder à mon ordinateur ». La bonne question est plus précise : dans quelle application Claude est-il utilisé, quelles informations cette application lui transmet-elle, et quelles actions peut-elle exécuter à sa demande ?

Pourquoi cette fonction soulève des questions de sécurité

Une IA conversationnelle peut produire une réponse erronée, ce qui est déjà problématique. Une IA qui clique sur un bouton peut, elle, déclencher directement une action : envoyer un message, modifier un réglage, soumettre un formulaire ou supprimer un contenu. La nature du risque change donc avec le niveau d’autonomie confié à l’outil.

Anthropic souligne que la fonction reste expérimentale. L’entreprise reconnaît notamment des limites de fiabilité : le modèle peut mal interpréter un élément à l’écran, confondre des boutons, se tromper de champ ou ne pas achever la séquence attendue. Une interface peut aussi évoluer entre deux captures, ce qui rend l’action suivante moins prévisible.

Un risque particulièrement surveillé est l’injection de prompt. Il s’agit d’instructions cachées ou affichées dans une page web, un document ou un message, conçues pour influencer l’IA et la détourner de son objectif. Un agent chargé de consulter des pages pourrait ainsi rencontrer un texte lui demandant d’ignorer sa mission initiale ou de révéler des informations auxquelles il a accès.

La difficulté est que l’IA ne distingue pas toujours aussi nettement qu’un humain une consigne légitime, une information affichée à l’écran et un contenu malveillant. Lorsque le modèle est en mesure d’agir, cette confusion peut avoir un effet concret.

Les bonnes pratiques avant de confier une tâche à une IA

La meilleure protection ne consiste pas à supposer que le modèle ne commettra jamais d’erreur. Elle repose sur une organisation qui limite les dégâts possibles si une erreur survient. Ce principe, courant en cybersécurité, est souvent résumé par l’idée du moindre privilège : ne donner à un outil que les droits strictement nécessaires.

Pour tester un assistant capable de manipuler une interface, plusieurs précautions s’imposent :

• utiliser, lorsque c’est possible, un compte de test sans documents personnels ni moyens de paiement enregistrés ;
• éviter de confier à l’IA des opérations irréversibles ou à fort enjeu, comme un virement, une modification de droits d’accès ou l’envoi d’un message sensible ;
• demander une validation humaine avant toute étape importante ;
• limiter les applications, sites et dossiers auxquels l’environnement de travail peut accéder ;
• conserver un historique des actions effectuées, afin de pouvoir comprendre un incident et revenir en arrière lorsque cela est possible.

Les données visibles à l’écran constituent un point de vigilance particulier. Une capture peut contenir un courriel, des données professionnelles, un nom, une adresse ou des informations confidentielles. Avant d’utiliser un tel service, les entreprises comme les particuliers doivent donc vérifier les paramètres de confidentialité et comprendre quelles données sont transmises dans le cadre de leur usage.

De l’assistant conversationnel à l’agent logiciel

La fonction d’Anthropic illustre une évolution majeure : le passage d’un modèle qui conseille à un modèle qui exécute. Un assistant conversationnel répond à une demande et laisse l’utilisateur agir. Un agent logiciel peut décomposer un objectif en étapes et tenter de les réaliser dans un environnement numérique.

Cette évolution est séduisante pour les tâches administratives et répétitives. Elle pourrait réduire le temps consacré à recopier des informations, parcourir des interfaces ou accomplir des procédures standardisées. Mais elle déplace aussi une partie de la responsabilité vers le concepteur de l’outil et l’utilisateur qui définit ses autorisations.

L’enjeu n’est donc pas seulement de savoir si Claude parvient à cliquer au bon endroit. Il faut aussi déterminer à quel moment une personne doit reprendre la main. Un agent peut être utile pour préparer une action, rassembler des éléments ou naviguer dans un espace limité. Il est beaucoup plus risqué de l’autoriser à décider seul dès que l’opération touche à de l’argent, des données sensibles, des droits d’accès ou une communication engageante.

La qualité de l’interface compte également. Une conception claire peut imposer des confirmations supplémentaires, séparer les opérations sensibles et afficher explicitement ce que l’agent s’apprête à faire. À l’inverse, un système opaque, qui agit sans journal ni demande de confirmation, rend les erreurs plus difficiles à détecter.

L’Institut américain de sécurité de l’IA impliqué dans l’évaluation

L’annonce intervient alors que les grands acteurs de l’IA sont de plus en plus invités à soumettre leurs modèles à des évaluations externes. En août 2024, Anthropic et OpenAI ont conclu des accords avec l’Institut américain de sécurité de l’IA, l’organisme rattaché au National Institute of Standards and Technology, ou NIST.

Ces accords prévoient notamment une coopération autour de la recherche, des tests et de l’évaluation des capacités et des risques des modèles. L’objectif est d’améliorer la compréhension des systèmes avant et après leur mise à disposition du public.

Une telle collaboration ne constitue pas un label certifiant qu’un produit serait sans risque. Elle reflète plutôt la nécessité d’évaluer les modèles dans des situations réalistes, y compris lorsqu’ils peuvent interagir avec des outils, des données et des interfaces. Les scénarios de sécurité ne concernent plus seulement les réponses générées par un chatbot, mais aussi les conséquences de ses actions dans des systèmes connectés.

En Europe, le cadre évolue également. Le règlement européen sur l’intelligence artificielle, l’AI Act, est entré en vigueur le 1er août 2024, avec une application progressive de ses obligations. Le Règlement général sur la protection des données, ou RGPD, reste par ailleurs central lorsque des services traitent des données personnelles. Pour les éditeurs d’outils comme pour les organisations qui les déploient, la transparence sur les données et le contrôle des accès deviennent aussi importants que la performance technique.

Ce qu’il faut surveiller avant un déploiement plus large

Le contrôle d’ordinateur par Claude est, à ce stade, une fonction bêta destinée aux développeurs. Son intérêt dépendra moins de démonstrations spectaculaires que de sa capacité à fonctionner de façon fiable dans des conditions ordinaires : interfaces changeantes, pages web ambiguës, comptes protégés et informations confidentielles.

Plusieurs questions devront être suivies. Les utilisateurs pourront-ils paramétrer finement les autorisations ? Les actions seront-elles suffisamment explicites et traçables ? Des garde-fous empêcheront-ils l’exécution de tâches dangereuses ? Et surtout, les modèles résisteront-ils mieux aux contenus conçus pour les manipuler ?

Anthropic met ainsi en lumière une tension appelée à devenir courante dans l’IA grand public : un assistant n’est réellement utile que s’il peut agir, mais il ne peut agir sans que l’utilisateur accepte un certain niveau de confiance. La bonne réponse ne réside pas dans une autonomie totale ni dans une interdiction générale. Elle passe par des limites techniques claires, une supervision adaptée au risque et la possibilité, pour l’humain, de comprendre et d’interrompre ce que fait la machine.