Gemini 2.0 : Google lance ses premiers agents IA, entre promesses et garde-fous

Un assistant conversationnel répond à une question. Un agent IA, lui, ambitionne d’aller plus loin : comprendre une demande, préparer plusieurs étapes, utiliser des outils numériques et accomplir une partie du travail demandé. C’est ce changement de cap que Google met en avant avec Gemini 2.0, présenté le 11 décembre 2024. L’enjeu ne se limite donc pas à obtenir des réponses plus fluides : il s’agit de bâtir des systèmes capables d’agir, tout en laissant l’utilisateur aux commandes.

La promesse est considérable, mais le lancement est progressif. Au 12 décembre 2024, Google ne met pas à disposition un assistant autonome universel prêt à réaliser toutes les tâches quotidiennes. Le groupe ouvre surtout l’accès expérimental à Gemini 2.0 Flash, un modèle rapide destiné notamment aux développeurs, et dévoile plusieurs prototypes qui donnent une idée de sa feuille de route : Project Astra pour l’assistance multimodale, Project Mariner pour la navigation sur le web et Jules pour le développement logiciel.

Gemini 2.0, une famille de modèles tournée vers l’action

Gemini est la famille de modèles d’intelligence artificielle générative de Google. Comme les autres grands modèles de langage, elle peut traiter et produire du texte. Mais Google insiste ici sur deux évolutions : la capacité à manipuler plusieurs types d’informations et l’usage d’outils externes.

Le terme multimodal désigne la faculté de prendre en compte différents formats, par exemple du texte, une image, du son ou une vidéo. Avec Gemini 2.0, Google met aussi en avant une génération native d’images et d’audio. Autrement dit, le modèle est conçu pour produire ces contenus dans son fonctionnement, plutôt que de se limiter à une réponse textuelle envoyée vers des services séparés.

L’autre mot clé est celui d’agent. Dans ce cadre, l’IA ne se contente plus de suggérer une procédure à suivre. Elle peut sélectionner un outil pertinent, rechercher une information, demander l’exécution d’une fonction prévue par une application ou parcourir des pages web. Cette autonomie reste encadrée : Google présente ces systèmes comme des assistants appelés à agir sous la supervision de l’utilisateur.

Google prévoit par ailleurs de déployer des modèles Gemini 2.0 plus grands au début de 2025. Le choix de commencer par Flash est révélateur : dans les usages concrets, la vitesse de réponse et le coût de traitement comptent autant que les performances brutes. Une IA appelée à consulter des outils ou à enchaîner des étapes doit pouvoir réagir rapidement, sans quoi l’expérience devient laborieuse.

Images, audio et outils : ce que change la multimodalité

L’IA générative a longtemps été associée au texte. Or une grande partie des informations utiles dans la vie réelle ne se présente pas sous cette forme : une photo contient des détails visuels, une conversation apporte des indices sonores, une page web mêle texte, boutons et images. Une IA multimodale peut théoriquement relier ces éléments au sein d’une même demande.

Gemini 2.0 doit ainsi pouvoir générer des images et de l’audio de manière native. Google évoque aussi des interactions multilingues. Pour l’utilisateur, cela peut rendre les échanges plus naturels : demander une explication à partir d’un élément visuel, poursuivre par la voix, puis obtenir une réponse adaptée dans une autre langue.

Pour les développeurs, l’intérêt se situe également dans les outils. Gemini 2.0 peut s’appuyer sur Google Search et sur des fonctions définies par les utilisateurs. Dans le vocabulaire du développement, une fonction est une action qu’une application met à la disposition du modèle : interroger une base de données, récupérer l’état d’une commande ou lancer une opération autorisée, par exemple.

Il est important de distinguer deux rôles. Le modèle peut décider qu’un outil est utile et formuler la demande structurée correspondante. Mais c’est l’application construite par le développeur qui définit les fonctions disponibles, les données accessibles et les autorisations. L’IA n’obtient pas, par défaut, un pouvoir illimité sur un compte ou un appareil.

La rapidité améliorée de Gemini 2.0 Flash vise précisément ce type de séquence. Une requête complexe peut nécessiter plusieurs allers-retours entre le modèle et des outils externes. Réduire le délai à chaque étape est essentiel pour que l’agent conserve un intérêt pratique.

Assistant conversationnel ou agent IA : quelle différence ?

Le terme d’agent est très utilisé dans l’industrie de l’IA, parfois de façon imprécise. La différence fondamentale tient à la capacité du système à préparer et enchaîner des actions, plutôt qu’à produire seulement du contenu en réponse à une instruction. Cette capacité ne signifie pas qu’il devient infaillible ou qu’il doit être laissé sans contrôle.

Astra, Mariner et Jules, les trois vitrines de la stratégie de Google

Google accompagne Gemini 2.0 de plusieurs projets expérimentaux. Ils ne constituent pas encore des produits grand public stabilisés, mais ils rendent plus concrète la vision défendue par Sundar Pichai, le PDG de Google : une nouvelle phase où l’IA peut anticiper certains besoins et agir pour l’utilisateur, avec sa supervision.

Project Astra veut observer et dialoguer en continu

Project Astra est présenté comme un prototype d’assistant universel. Testé notamment sur Android, il exploite les capacités multimodales de Gemini 2.0 pour maintenir un dialogue en prenant en compte son contexte. L’objectif n’est pas simplement de répondre à une question isolée, mais de pouvoir suivre une interaction qui combine ce que l’utilisateur dit, montre ou cherche à accomplir.

Google met en avant les interactions multilingues et une conversation plus fluide. Cette approche pourrait être utile lorsque les mains sont occupées ou lorsqu’une explication visuelle complète une demande orale. À ce stade, Astra demeure toutefois un prototype : une démonstration convaincante ne suffit pas à établir la fiabilité d’un assistant dans tous les contextes du quotidien.

Project Mariner apprend à naviguer sur le web

Project Mariner est un assistant de navigation web. Son rôle est de comprendre une instruction, de repérer les éléments présents sur une page et de progresser dans une tâche en utilisant le navigateur. Google annonce un taux de réussite de 83,5 % lors de tests exigeants.

Ce chiffre donne une indication utile, mais il faut l’interpréter avec prudence. Un score de benchmark mesure des scénarios définis à l’avance. Il ne garantit pas qu’un agent se comportera correctement sur tous les sites, face à des interfaces changeantes, à des formulaires ambigus ou à des instructions contradictoires. C’est précisément pourquoi Mariner reste à l’état de prototype de recherche, testé auprès d’un nombre limité de personnes.

Jules cible les équipes de développement

Avec Jules, Google s’adresse aux développeurs. Cet agent de codage est conçu pour s’intégrer aux flux de travail GitHub et aider à résoudre des tâches de développement complexes. L’idée est de déléguer une partie des opérations répétitives ou techniques, tout en conservant le développeur comme responsable des choix, de la relecture et de la validation du code.

L’intérêt potentiel est important pour les équipes qui doivent comprendre un dépôt de code, traiter une demande d’évolution ou préparer une modification. Mais l’automatisation ne dispense pas de contrôles : un code qui semble fonctionner peut introduire des erreurs, des failles ou des choix incompatibles avec l’architecture d’un projet.

Google explore enfin le jeu vidéo avec des partenaires comme Supercell. Ces travaux examinent la manière dont des agents IA pourraient proposer des stratégies en temps réel afin d’enrichir l’expérience de jeu. Là encore, il s’agit d’une piste de recherche et non de l’annonce d’une fonctionnalité généralisée.

Sécurité, vie privée et injections de prompts : le défi des agents

Faire passer une IA du conseil à l’action augmente les risques. Un chatbot qui se trompe peut fournir une mauvaise réponse. Un agent connecté à des outils peut, lui, suivre une mauvaise instruction, consulter des informations non pertinentes ou déclencher une action indésirable si ses règles sont insuffisantes.

Google affirme avoir soumis les nouvelles fonctionnalités à des évaluations de risques et les avoir placées sous la supervision de son dispositif interne consacré à la responsabilité et à la sécurité. Le groupe dit aussi chercher à limiter les abus et à protéger la vie privée des utilisateurs.

Project Mariner illustre un problème particulièrement important : les injections de prompts. Une page web peut contenir du texte conçu pour tromper un agent, en lui demandant par exemple d’ignorer la requête de son utilisateur ou de suivre une instruction parasite. Google indique avoir prévu des mesures pour que Mariner respecte les consignes de l’utilisateur tout en se protégeant contre ces tentatives de manipulation.

Ce sujet dépasse largement le navigateur. Dès qu’un modèle peut utiliser une messagerie, un calendrier, un outil professionnel ou des données personnelles, il faut pouvoir répondre à des questions simples mais cruciales : quelles informations l’agent peut-il consulter ? Quelles actions peut-il réaliser ? L’utilisateur comprend-il clairement ce qui sera fait ? Et comment peut-il interrompre ou corriger le processus ?

La réponse de Google repose, dans sa présentation, sur l’évaluation des risques et la supervision. La qualité de ces garde-fous devra toutefois être jugée à l’usage, au fur et à mesure que les prototypes se rapprocheront d’un déploiement plus large.

Les TPU Trillium, l’infrastructure derrière Gemini 2.0

Les modèles d’IA générative exigent une puissance de calcul considérable, à la fois pour leur entraînement et lorsqu’ils répondent aux utilisateurs. Google indique que Gemini 2.0 a été entraîné et fonctionne en inférence grâce à ses unités de traitement Tensor, ou TPU, de sixième génération, baptisées Trillium.

Une TPU est une puce spécialisée conçue par Google pour accélérer certains calculs d’apprentissage automatique. Elle joue un rôle comparable, pour les charges d’IA, à celui que les processeurs graphiques jouent souvent dans les centres de données. L’entraînement consiste à ajuster le modèle à partir de très grandes quantités de données. L’inférence correspond, elle, au moment où le modèle génère effectivement une réponse à une demande.

Google prévoit de rendre Trillium accessible à des développeurs externes. Cette ouverture compte dans sa stratégie : l’entreprise ne cherche pas seulement à diffuser Gemini dans ses propres produits, mais aussi à donner aux organisations les moyens techniques de construire leurs applications autour de ses modèles et de son infrastructure cloud.

Ce qu’il faut surveiller en 2025

Gemini 2.0 marque une étape importante dans la compétition entre les grands acteurs de l’IA, car elle déplace la comparaison des modèles vers leur capacité à accomplir des tâches. La question ne sera pas uniquement de savoir quel système écrit le meilleur texte ou répond le mieux à une question complexe. Il faudra mesurer sa fiabilité lorsqu’il utilise un moteur de recherche, un navigateur, un service de code ou une fonction métier.

Trois éléments seront particulièrement déterminants. D’abord, le calendrier réel de disponibilité des modèles Gemini 2.0 plus grands et des prototypes aujourd’hui réservés à des testeurs. Ensuite, la qualité des contrôles proposés aux utilisateurs, notamment pour les tâches sensibles et les données privées. Enfin, la capacité de Google à démontrer que les performances observées dans les tests, comme les 83,5 % annoncés pour Project Mariner, se traduisent par une expérience robuste hors laboratoire.

L’ambition d’un assistant universel est séduisante : moins de manipulations répétitives, une interaction plus naturelle avec les services numériques et des outils capables d’aider à avancer dans une tâche. Mais plus l’IA agit, plus la confiance devient une condition de son adoption. Pour Gemini 2.0, la véritable épreuve commence donc au moment où ces agents quittent les démonstrations pour s’intégrer aux usages réels.