Claude 3.5 Sonnet peut utiliser un ordinateur, avec des garde-fous indispensables

Demander à une intelligence artificielle de rechercher une information est devenu banal. Lui demander d’ouvrir un navigateur, de parcourir un site, de remplir un formulaire ou de déplacer des données d’une application à une autre relève d’une autre ambition : celle d’un agent capable d’agir dans une interface informatique. C’est la promesse de Computer Use, la nouvelle fonctionnalité présentée par Anthropic le 22 octobre 2024 avec une version améliorée de son modèle Claude 3.5 Sonnet.

L’annonce mérite toutefois d’être précisée. Il ne s’agit pas d’un bouton qui donnerait soudain à tous les utilisateurs de Claude le contrôle automatique de leur ordinateur personnel. Computer Use est une capacité proposée en bêta publique aux développeurs, qui doivent l’intégrer à leurs propres outils et lui fournir un environnement informatique contrôlé. Claude peut alors observer l’écran qui lui est transmis et utiliser une souris ainsi qu’un clavier virtuels pour accomplir une tâche.

Computer Use : ce qu’Anthropic annonce réellement

Le terme « Computer Use » décrit une nouvelle manière d’interagir avec les logiciels. Au lieu de s’appuyer uniquement sur des interfaces de programmation, les API, l’agent peut traiter une interface graphique telle qu’un humain la verrait : boutons, champs de saisie, menus, pages web et fenêtres.

Cette capacité n’est pas le lancement de Claude 3, dont la famille de modèles avait été dévoilée en mars 2024. Elle accompagne une mise à jour de Claude 3.5 Sonnet, le modèle d’Anthropic destiné notamment aux tâches de raisonnement, de rédaction et d’analyse. L’entreprise a également annoncé Claude 3.5 Haiku, une déclinaison plus rapide de sa gamme, mais la fonction Computer Use est alors associée à Claude 3.5 Sonnet.

L’idée est importante parce qu’elle rapproche les modèles de langage de l’action. Un assistant classique explique comment procéder ou produit le contenu demandé. Un agent doté d’un accès à l’ordinateur peut, en théorie, enchaîner lui-même certaines étapes dans une interface : trouver une page, sélectionner un menu, recopier une donnée, vérifier le résultat et poursuivre.

Comment Claude peut-il agir sur un écran ?

Le fonctionnement repose sur une boucle. Une application développée par un client transmet au modèle une image de l’écran. Claude l’analyse, détermine une action à effectuer, puis renvoie une instruction : déplacer le pointeur à certaines coordonnées, cliquer, taper une suite de caractères ou faire défiler la page. L’application exécute l’action et retourne une nouvelle capture d’écran. Le modèle peut alors évaluer ce qui a changé et décider de l’étape suivante.

Ce mécanisme imite le comportement d’un utilisateur, mais à travers une succession de décisions calculées. Il est particulièrement utile lorsque le logiciel ciblé ne propose pas d’API ou lorsque plusieurs outils doivent être utilisés de façon coordonnée. C’est aussi une solution plus souple que la programmation d’un automatisme rigide, capable uniquement de suivre un scénario prévu à l’avance.

En pratique, l’agent peut être mobilisé pour des tâches routinières dans un navigateur ou une application : naviguer dans des pages, renseigner des champs, rechercher des informations, récupérer des données visibles ou exécuter une procédure répétitive. Chaque cas d’usage doit cependant être encadré. Une interface peut changer, une fenêtre inattendue peut apparaître et une instruction ambiguë peut conduire l’agent à se tromper.

La nuance est essentielle : Claude ne « voit » pas un écran avec une perception humaine infaillible. Il interprète une représentation visuelle et des consignes. Un bouton mal placé, une page chargée lentement, un élément graphique inhabituel ou une demande mal formulée peuvent suffire à perturber sa progression.

Pourquoi cette approche diffère des automatisations classiques

Depuis longtemps, les entreprises automatisent des tâches sur ordinateur grâce aux scripts et à la robotisation des processus, souvent appelée RPA. Ces outils suivent habituellement des règles explicites : cliquer à tel endroit, copier telle cellule, envoyer tel fichier. Leur force réside dans leur prévisibilité, mais ils deviennent fragiles quand l’interface évolue ou que la situation sort du cadre prévu.

Computer Use cherche à apporter une couche de raisonnement plus flexible. Plutôt que de programmer chaque clic, le développeur peut formuler un objectif. Le modèle tente ensuite de décomposer la tâche et de s’adapter aux éléments présents à l’écran. Cette souplesse est séduisante pour des travaux variés ou peu standardisés, mais elle implique aussi une part d’incertitude que les automatisations traditionnelles cherchent précisément à éliminer.

Anthropic mesure cette difficulté à travers OSWorld, un benchmark évaluant la capacité d’agents IA à mener des tâches sur ordinateur. L’entreprise affirme que Claude 3.5 Sonnet atteint 14,9 % sur ce test, contre 7,8 % pour le système IA suivant cité dans son annonce. Les humains y obtiennent 72,4 %.

Ces chiffres signalent un progrès, pas une maturité complète. Un taux de 14,9 % reste très éloigné de la performance humaine et rappelle qu’un agent peut échouer sur la majorité des tâches évaluées dans ce cadre. Un benchmark ne reproduit d’ailleurs pas toute la diversité des logiciels, des pannes, des règles internes et des cas particuliers rencontrés dans le travail quotidien.

Les risques : erreurs, données sensibles et injections de prompts

Donner à un modèle la capacité de cliquer et de saisir du texte augmente mécaniquement les risques. Lorsqu’un assistant se contente de répondre dans une conversation, une erreur reste souvent limitée à une information incorrecte. Lorsqu’il peut agir dans un logiciel, il peut envoyer un message, soumettre un formulaire, modifier un document ou déclencher une opération que l’utilisateur n’avait pas anticipée.

L’un des risques les plus discutés est l’injection de prompts. Une page web, un document ou un message peut contenir du texte destiné à influencer l’agent, par exemple en lui demandant d’ignorer sa mission initiale ou d’exécuter une action non souhaitée. Un humain peut aussi être manipulé par un contenu trompeur, mais un agent qui traite des instructions textuelles à grande vitesse peut se révéler particulièrement vulnérable.

Anthropic reconnaît le caractère expérimental de cette technologie et indique avoir mis en place des protections spécifiques contre ces tentatives d’injection. L’entreprise recommande aussi aux développeurs de faire preuve de prudence pour les tâches impliquant des données sensibles ou des décisions à forts enjeux.

Quelques précautions s’imposent donc dès la conception d’un outil reposant sur Computer Use :

• isoler l’agent dans un navigateur ou une machine virtuelle qui ne contient pas de données inutiles à la mission ;
• limiter les droits accordés au compte utilisé par l’agent ;
• demander une validation humaine avant les actions irréversibles, comme un achat, un envoi ou une suppression ;
• conserver une trace des actions effectuées afin de pouvoir les vérifier et, quand c’est possible, les annuler ;
• éviter de confier au modèle seul des opérations juridiques, financières, médicales ou impliquant des identifiants sensibles.

La confidentialité entre aussi en jeu. Pour analyser un écran, le système doit recevoir des captures qui peuvent contenir des informations personnelles, des messages privés, des tableaux financiers ou des identifiants. Les organisations qui expérimentent cette fonction doivent donc examiner les données auxquelles l’agent accède, les paramètres de leur environnement technique et leurs propres obligations de sécurité.

Une vision de l’IA agentique, pas un assistant magique

Computer Use s’inscrit dans une évolution plus large de l’IA dite « agentique ». L’objectif n’est plus seulement de produire un texte, une image ou une réponse, mais d’accomplir une séquence d’actions pour atteindre un but. Cette trajectoire intéresse les entreprises, car une part importante du travail administratif consiste à naviguer entre des sites web, des formulaires, des tableurs, des boîtes de réception et des logiciels métiers.

Pour Anthropic, cette capacité complète son positionnement autour de modèles présentés comme utiles, honnêtes et inoffensifs. Ces principes affichés ne dispensent toutefois pas de contrôles concrets. Plus un modèle est connecté à des outils, plus les garde-fous doivent porter non seulement sur ce qu’il dit, mais aussi sur ce qu’il est autorisé à faire.

Il serait donc trompeur d’opposer un Claude « éthique » à des assistants qui ne le seraient pas. La sécurité d’un agent dépend à la fois du modèle, de l’application qui l’emploie, des autorisations accordées, des données accessibles et de la présence ou non d’un humain au moment critique. La promesse d’une interaction plus naturelle ne doit pas effacer cette chaîne de responsabilités.

Ce qu’il faut surveiller

Au 23 octobre 2024, Computer Use apparaît comme une avancée concrète, mais encore précoce. Son intérêt se situera moins dans une démonstration de clics automatisés que dans la capacité des développeurs à concevoir des scénarios utiles, limités et vérifiables. Les premiers usages les plus crédibles seront probablement ceux où l’objectif est bien défini, les données peu sensibles et la validation humaine facile à organiser.

La question centrale est celle de la confiance. Un agent devra montrer qu’il sait non seulement accomplir une tâche, mais aussi s’arrêter lorsqu’il rencontre une ambiguïté, signaler une anomalie et demander l’accord de l’utilisateur avant une action importante. Les progrès sur OSWorld et d’autres évaluations seront donc à suivre, tout comme les incidents réels liés à la navigation web, aux données personnelles et aux instructions malveillantes.

L’ordinateur piloté par le langage naturel n’est plus une simple idée de science-fiction. Mais entre une IA qui sait cliquer sur un bouton et un collaborateur numérique autonome auquel on peut déléguer une mission sans surveillance, l’écart reste considérable. La bêta de Computer Use constitue une étape vers cette ambition, pas son aboutissement.