Project Jarvis : Google préparerait un agent IA pour agir dans votre navigateur

Demander à son ordinateur de rechercher un billet de train, comparer plusieurs offres, remplir un formulaire et préparer une commande, sans avoir à cliquer soi-même à chaque étape : c’est la promesse des agents d’intelligence artificielle. Selon un rapport de presse publié en octobre 2024, Google travaillerait sur l’un d’eux, baptisé Project Jarvis. Son ambition ne serait plus seulement de répondre à une question, mais d’agir dans un navigateur à la place de l’utilisateur.

Cette évolution paraît naturelle après l’essor des assistants conversationnels. Pourtant, elle marque un changement important : un chatbot produit avant tout du texte, tandis qu’un agent doit interpréter une demande, naviguer entre des pages, sélectionner les bons champs et savoir quand demander une confirmation. Cette autonomie potentielle peut faire gagner du temps, mais elle ouvre aussi l’accès à des données et à des décisions sensibles.

Ce que l’on sait de Project Jarvis

Au 27 octobre 2024, Project Jarvis n’a pas fait l’objet d’une présentation publique de Google. Son existence et ses fonctions reposent donc sur des informations rapportées par la presse, et non sur une fiche produit officielle. Il faut en conséquence distinguer ce qui est décrit dans ces informations de ce qui reste à confirmer.

Le projet serait conçu pour être intégré à un navigateur. L’idée centrale est simple : l’utilisateur formule une instruction en langage courant, puis l’agent se charge de l’exécution sur le web. Il n’aurait ainsi pas besoin de programmer une automatisation ni d’utiliser directement les interfaces techniques, souvent appelées API, des services concernés.

Cette précision est essentielle. Un outil capable de consulter une page est déjà courant. Un outil capable de cliquer, de renseigner un formulaire, de changer d’onglet et de finaliser une opération réalise une tâche d’une autre nature. Il doit composer avec des sites tous différents, des fenêtres surgissantes, des pages qui se rechargent, des demandes d’authentification et des informations parfois ambiguës.

Comment un agent IA pourrait-il utiliser un navigateur ?

Un agent web ne se contente pas de générer une réponse plausible. Pour réussir une tâche, il lui faut découper une consigne en étapes. Une demande telle que « trouve un hôtel pour ce week-end et prépare une réservation » peut, par exemple, impliquer de chercher une destination, d’indiquer des dates, de filtrer les résultats, de comparer les conditions et de renseigner les coordonnées du voyageur.

À chaque étape, le système doit évaluer ce qu’il voit à l’écran et choisir une action : ouvrir un lien, saisir du texte, faire défiler une page, revenir en arrière ou demander une précision. C’est ce cycle, observation, décision, action, qui distingue un agent d’un assistant conversationnel classique.

Dans le cas de Project Jarvis, les informations disponibles évoquent notamment l’ouverture de pages pertinentes, le remplissage de formulaires et l’exécution d’achats. Google chercherait donc à réduire la succession de manipulations qui accompagne les démarches numériques quotidiennes. Les usages envisagés pourraient aller de la collecte de données dispersées pour constituer un tableau à l’organisation de réservations de voyage.

L’intérêt pour le grand public est évident : beaucoup d’activités administratives ou commerciales en ligne sont répétitives, mais demandent de passer d’un site à l’autre. Une interface où l’on exprime son objectif plutôt qu’une suite précise de clics pourrait rendre ces tâches plus accessibles aux personnes peu à l’aise avec l’informatique.

Cela ne signifie pas que l’agent serait infaillible. Les modèles d’IA peuvent mal interpréter une instruction, confondre deux options proches ou produire une réponse convaincante mais erronée. Appliquée à une interface interactive, une telle erreur ne reste pas théorique : elle peut conduire à sélectionner le mauvais produit, transmettre une mauvaise information ou préparer une action non souhaitée.

Pourquoi cette promesse dépasse le simple assistant vocal

Siri, Alexa et les assistants vocaux ont popularisé les commandes en langage naturel. Ils permettent notamment de lancer une minuterie, de répondre à une question simple ou de piloter certains objets connectés. Mais leur champ d’action reste généralement limité à des fonctions et intégrations prévues à l’avance.

Un agent IA comme celui que préparerait Google vise un niveau différent d’autonomie. Plutôt que d’attendre une commande pour chaque bouton, il chercherait à accomplir un objectif dans une interface conçue, à l’origine, pour un humain. C’est précisément ce qui rend le concept séduisant et difficile à maîtriser.

La différence peut sembler subtile, mais elle change le rôle de l’utilisateur. Avec un moteur de recherche, celui-ci trouve et compare lui-même. Avec un agent, il délègue une partie de la recherche, de la navigation et potentiellement de l’exécution. Plus la tâche comporte d’étapes, plus le gain de temps potentiel est élevé, mais plus le besoin de contrôle devient important.

Une course aux agents, entre navigateur et ordinateur entier

Google n’est pas seul à s’intéresser à ces systèmes. Anthropic, la société qui développe Claude, avait récemment annoncé une capacité dite de computer use, ou utilisation d’ordinateur. Elle permet à Claude d’interagir avec un ordinateur en observant l’écran et en utilisant une souris et un clavier virtuels. Cette fonction était alors proposée aux développeurs sous forme bêta.

La comparaison doit toutefois être maniée avec prudence. Les informations rapportées sur Project Jarvis le situent d’abord dans le navigateur. La fonction d’Anthropic porte, elle, sur l’interaction avec l’environnement informatique, ce qui ouvre un champ plus large, mais aussi plus risqué. Accéder à des logiciels, à des dossiers ou à des réglages du système ne présente pas les mêmes conséquences qu’ouvrir une page web.

Cette concurrence témoigne d’une évolution du marché de l’IA. Après la bataille pour proposer les modèles les plus capables de rédiger, résumer ou programmer, les entreprises cherchent à concevoir des outils qui accomplissent réellement des tâches. La valeur ne résiderait alors plus seulement dans la qualité d’une réponse, mais dans la faculté de mener une action jusqu’à son terme.

Les données personnelles au cœur des interrogations

Pour remplir un formulaire ou organiser un déplacement, un agent devrait souvent manipuler des informations personnelles : nom, adresse, date de naissance, coordonnées bancaires, préférences de voyage ou données présentes dans une messagerie. La question n’est donc pas seulement de savoir si l’outil fonctionne, mais de déterminer ce qu’il peut voir, conserver et transmettre.

À ce stade, Google n’avait pas détaillé publiquement les règles de sécurité associées à Project Jarvis. Plusieurs garanties seraient pourtant déterminantes pour inspirer confiance : la possibilité de limiter l’accès à certains sites ou informations, une visibilité sur les actions en cours, un historique compréhensible des manipulations réalisées et des confirmations explicites avant les opérations sensibles.

Le web lui-même pose une difficulté particulière. Un agent peut être confronté à des pages frauduleuses, à des liens trompeurs ou à des contenus conçus pour l’induire en erreur. Il peut aussi rencontrer des instructions cachées ou présentées comme du contenu ordinaire. Ces tentatives, parfois qualifiées d’injections de consignes, cherchent à faire dévier l’IA de l’objectif fixé par son utilisateur.

Les débats autour de fonctionnalités telles que Recall de Microsoft, qui ont suscité des inquiétudes liées à la confidentialité, montrent que les usagers sont attentifs à la manière dont les outils d’IA traitent leurs activités numériques. Pour un agent qui agit directement dans un navigateur, la transparence et le consentement ne pourront pas être de simples options secondaires.

Quels usages pourraient être réellement utiles ?

L’automatisation n’a pas la même valeur selon la tâche confiée. Elle est particulièrement intéressante lorsque les étapes sont répétitives, clairement définies et faciles à vérifier. Elle devient plus contestable quand elle implique un jugement personnel, une décision financière ou la communication de données privées.

Parmi les usages les plus plausibles figurent :

• la collecte d’informations réparties sur plusieurs pages pour les organiser dans un tableau ;
• la préparation de formulaires répétitifs à partir de données que l’utilisateur choisit de fournir ;
• la comparaison de résultats selon des critères explicites, comme un budget ou une date ;
• la préparation d’un panier ou d’une réservation, avant une vérification humaine ;
• l’aide à la planification d’un voyage avec plusieurs recherches successives.

L’agent ne remplacerait pas nécessairement la décision de l’utilisateur. Dans de nombreux cas, son rôle le plus utile serait de préparer le terrain : identifier les options, préremplir les informations, signaler les choix à effectuer et laisser la dernière validation à la personne concernée.

Cette approche permettrait aussi de corriger une faiblesse fréquente des assistants actuels. Une réponse textuelle peut recommander une solution sans pouvoir vérifier qu’elle est disponible ou sans accomplir les démarches correspondantes. Un agent, lui, pourrait théoriquement relier conseil et exécution. Mais ce passage de la recommandation à l’action exige une fiabilité bien supérieure.

Ce qu’il faut surveiller avant un éventuel lancement

La première question est celle de la disponibilité. Au 27 octobre 2024, aucune date de lancement grand public n’avait été annoncée par Google. Des informations de presse associaient le projet à une prochaine évolution de Gemini, mais cela ne constituait pas une confirmation de la part de l’entreprise.

La deuxième concerne le périmètre réel. Project Jarvis resterait-il limité à certaines actions dans le navigateur, ou Google viserait-il à terme une interaction plus large avec l’ordinateur ? La différence est décisive pour les utilisateurs, comme pour les règles de sécurité à mettre en place.

Enfin, l’acceptation de ces agents dépendra moins de leur capacité à cliquer vite que de leur capacité à rester sous contrôle. Les utilisateurs devront savoir ce que l’IA fait, pourquoi elle le fait, quelles données elle emploie et comment interrompre une action. Les paiements, les messages envoyés, les suppressions de données et les engagements contractuels sont autant de domaines où une confirmation humaine paraît indispensable.

Project Jarvis illustre ainsi une nouvelle étape de l’IA grand public : l’ordinateur ne serait plus seulement un outil que l’on commande écran après écran, mais un environnement dans lequel on pourrait déléguer certaines démarches. La promesse est celle d’une informatique plus simple. Son succès reposera sur une condition tout aussi simple à énoncer, mais difficile à remplir : que l’utilisateur conserve à tout moment la maîtrise de ce qui est fait en son nom.