Claude 3.5 Sonnet peut utiliser un ordinateur : ce que change Computer Use

Donner une instruction à une intelligence artificielle est une chose. La laisser manipuler les boutons, les formulaires et les logiciels qui s’affichent à l’écran en est une autre. C’est le cap que franchit Anthropic avec Computer Use, une capacité en bêta publique annoncée le 22 octobre 2024 pour son modèle Claude 3.5 Sonnet. L’ambition est de faire de Claude non plus seulement un assistant qui répond, mais un agent capable d’accomplir une suite d’actions dans une interface informatique.

La promesse mérite toutefois d’être bien comprise. Il ne s’agit pas d’un logiciel grand public qui s’installe sur n’importe quel ordinateur et en prend instantanément les commandes. Computer Use est avant tout une fonction destinée aux développeurs : ils l’intègrent à une application, déterminent l’environnement auquel l’IA accède et gardent la responsabilité des autorisations accordées. Cette nuance est essentielle pour mesurer à la fois le potentiel et les limites de l’annonce.

Ce qu’Anthropic annonce avec Computer Use

Claude 3.5 Sonnet peut désormais se comporter, dans une certaine mesure, comme un utilisateur devant son écran. À partir d’une capture de l’interface, le modèle identifie les éléments visibles et choisit une action : déplacer le pointeur, cliquer, faire défiler une page, saisir du texte ou employer une touche du clavier. L’application qui l’héberge exécute ensuite cette action, fournit une nouvelle capture d’écran et le cycle recommence.

Cette approche se distingue des assistants conversationnels traditionnels. Ces derniers peuvent expliquer comment remplir un formulaire ou produire le texte d’un e-mail, mais ils ne réalisent pas eux-mêmes les gestes nécessaires dans le navigateur ou le logiciel. Avec Computer Use, Claude peut enchaîner ces étapes, à condition d’avoir été relié à l’environnement approprié.

La capacité est proposée en bêta publique via l’API d’Anthropic. Elle est également disponible sur Amazon Bedrock et Google Cloud Vertex AI, deux services cloud qui permettent aux entreprises de déployer des modèles d’IA. À ce stade, Anthropic s’adresse donc principalement aux équipes techniques qui souhaitent construire des agents capables d’utiliser des interfaces existantes.

Comment une IA peut-elle cliquer sur un écran ?

Le principe est plus concret qu’il n’y paraît. Plutôt que de s’appuyer uniquement sur des commandes internes à un logiciel, l’agent reçoit une représentation visuelle de l’écran. Il peut ainsi tenter d’utiliser une interface comme le ferait une personne, y compris lorsqu’aucune API spécialisée n’est disponible.

Dans la pratique, l’application développée autour de Claude joue un rôle central. Elle transmet les captures d’écran, reçoit les instructions d’action du modèle, puis les applique dans un environnement contrôlé. Claude ne « voit » donc pas l’ordinateur comme un humain : il interprète une image de l’interface et propose l’étape suivante selon l’objectif qui lui a été donné.

Ce fonctionnement peut rendre l’IA utile dans des environnements hétérogènes, où les outils ne communiquent pas facilement entre eux. Une même tâche implique souvent d’ouvrir un site, retrouver une information, remplir un champ, passer à une autre fenêtre et vérifier le résultat. C’est précisément cette succession de micro-actions que les agents cherchent à automatiser.

Quelles tâches Claude peut-il automatiser ?

Les actions élémentaires proposées par Computer Use sont celles d’un utilisateur de bureau : clics de souris, saisie de texte, navigation dans une page, utilisation du clavier et interaction avec des applications. Une intégration bien conçue peut donc demander à Claude de suivre un processus défini, par exemple rechercher une information dans une interface web, copier un résultat dans un document ou parcourir plusieurs écrans d’un logiciel.

L’intérêt est particulièrement fort pour les tâches répétitives réalisées dans des outils anciens ou très spécialisés. De nombreuses entreprises utilisent des applications dont les interfaces sont conçues pour des humains, sans connexion simple avec les logiciels modernes. Un agent visuel pourrait constituer une couche d’automatisation supplémentaire, sans exiger de reconstruire entièrement ces systèmes.

Cela ne veut pas dire que toute tâche numérique devient automatiquement fiable. Une page peut changer de disposition, un bouton peut être ambigu, une fenêtre inattendue peut apparaître ou une consigne peut nécessiter un jugement que l’IA ne possède pas. Les opérations les plus sensibles, comme valider une transaction, envoyer un message engageant une organisation ou modifier des données importantes, exigent donc une supervision adaptée.

Le gain potentiel se situe moins dans une autonomie totale que dans la délégation des étapes les plus mécaniques. Claude peut préparer, naviguer, recopier et signaler un point de blocage. L’humain garde alors la décision finale lorsque le contexte, la responsabilité ou le risque l’imposent.

Des résultats encore loin du niveau humain

Pour mesurer ce type de capacité, Anthropic cite OSWorld, un benchmark qui évalue des agents devant accomplir des tâches sur ordinateur. Il ne teste pas seulement la qualité d’une réponse écrite : l’agent doit réussir une série d’actions dans des environnements logiciels.

Selon les chiffres communiqués par Anthropic, Claude 3.5 Sonnet atteint 14,9 % sur OSWorld. C’est une progression notable par rapport aux 7,8 % du meilleur système précédent cité par l’entreprise, mais l’écart demeure considérable face au niveau humain de 72,4 %.

Ces chiffres donnent une lecture plus nuancée de la démonstration. La fonction est prometteuse parce qu’elle dépasse nettement les agents précédents dans ce test, mais elle reste expérimentale. Un taux de réussite de 14,9 % ne permet pas de confier sans contrôle des opérations longues ou critiques à une IA. L’agent peut se tromper, perdre le fil d’une procédure ou échouer face à une interface légèrement différente de celle attendue.

Assistant conversationnel ou agent qui agit : deux usages différents

Un assistant conversationnel et un agent informatique peuvent reposer sur le même modèle de langage, mais ils ne répondent pas au même besoin. Le premier aide à comprendre, rédiger ou réfléchir. Le second ajoute une capacité d’action dans une interface, avec des bénéfices pratiques mais aussi davantage de risques.

Pour une demande comme « résume ce document », une conversation suffit généralement. Pour une demande comme « ouvre ce portail, récupère ces informations et renseigne-les dans ce tableau », l’agent peut prendre le relais sur les étapes répétitives. En revanche, plus l’IA est autorisée à agir, plus il devient nécessaire de limiter précisément son périmètre.

Cette distinction explique pourquoi Anthropic propose Computer Use par son API et ses partenaires cloud. Les développeurs peuvent adapter le comportement de l’agent avec des consignes, choisir les tâches qu’il peut effectuer et, surtout, empêcher l’accès à des fonctions qui ne lui sont pas nécessaires.

Pourquoi la sécurité devient un enjeu central

Une IA qui lit du texte sur le web et peut cliquer est exposée à un danger particulier : l’injection de prompt. Le principe est simple. Un contenu affiché dans une page, un document ou un message peut contenir une instruction malveillante destinée à détourner l’agent de son objectif initial. Si l’IA la suit, elle pourrait effectuer une action non souhaitée.

Le risque est plus important que dans une simple conversation, car l’agent a la capacité d’agir. Un texte caché ou visible sur une page pourrait tenter de lui faire modifier un comportement prévu, accéder à une information ou réaliser une manipulation qui dépasse la demande de l’utilisateur. La difficulté vient du fait que l’agent doit lire du contenu pour accomplir sa mission, tout en distinguant ce contenu des consignes légitimes qui le guident.

Anthropic recommande de prendre des précautions lors du déploiement de cette fonction. En pratique, les principes de prudence sont clairs : isoler l’agent dans un environnement dédié, limiter ses droits d’accès, ne pas lui confier de secrets inutiles et demander une confirmation humaine avant toute action à conséquence importante.

La confidentialité mérite la même attention. Pour analyser une interface, le système doit recevoir des captures d’écran qui peuvent contenir des données professionnelles, des messages ou des informations personnelles. Les organisations doivent donc évaluer avec soin les données exposées au service utilisé et les règles internes applicables.

Quel impact sur le travail et les logiciels ?

Computer Use illustre une évolution importante de l’automatisation. Les premiers outils automatisés reposaient souvent sur des règles strictes : si telle case apparaît à tel endroit, cliquer ici. Les modèles multimodaux comme Claude 3.5 Sonnet cherchent au contraire à interpréter une interface visuellement et à s’adapter à son contexte. Cela peut rendre l’automatisation plus souple, mais aussi moins prévisible qu’un script traditionnel.

Dans les métiers de bureau, les premiers usages plausibles concernent les procédures répétitives et clairement définies : collecte d’informations, préparation de documents, vérification de champs ou passage d’un outil à l’autre. Dans l’éducation, la fonction pourrait également alimenter des outils d’assistance capables d’accompagner une navigation ou une procédure, sous réserve de protéger les données et de conserver un regard humain.

Parler de disparition automatique des emplois serait prématuré. La technologie agit sur des tâches, pas sur l’ensemble des responsabilités d’une profession. Elle peut réduire le temps consacré à certaines manipulations, mais crée aussi un besoin de conception des processus, de contrôle des résultats, de gestion des accès et de traitement des erreurs. Son effet réel dépendra de la fiabilité atteinte, des règles de sécurité et des choix d’organisation.

Ce qu’il faut surveiller

La première question sera celle de la fiabilité dans la durée. Les démonstrations d’agents sont convaincantes lorsqu’une tâche se déroule comme prévu, mais les interfaces réelles changent, les formulaires présentent des exceptions et les demandes humaines sont souvent imprécises. L’écart entre le score de 14,9 % de Claude et le niveau humain mesuré sur OSWorld rappelle que l’autonomie généralisée n’est pas encore acquise.

La seconde concerne la sécurité. Les protections contre l’injection de prompt, la gestion des permissions et les mécanismes de validation devront progresser avant d’autoriser des agents à travailler sur des comptes sensibles. Les développeurs devront aussi décider quels actes peuvent être délégués et lesquels doivent impérativement rester soumis à une approbation explicite.

Enfin, l’annonce d’Anthropic pose une question de conception logicielle. Si les IA savent utiliser les interfaces pensées pour les humains, les entreprises pourront automatiser davantage sans attendre que tous leurs outils disposent d’API modernes. Mais des logiciels offrant des accès structurés et sécurisés resteront souvent préférables à une IA qui reproduit des clics à l’écran. Computer Use ouvre une voie concrète vers des assistants plus opérationnels, à condition de ne pas confondre démonstration technologique et autonomie sans garde-fous.