Gemini Robotics : DeepMind veut donner aux robots le sens de l’action

Faire plier une feuille, ranger des objets dans un sac ou saisir le bon ustensile au milieu d’un plan de travail encombré reste beaucoup plus difficile pour un robot que pour un humain. Il ne suffit pas de reconnaître les objets : la machine doit comprendre une consigne, évaluer les distances, anticiper les conséquences de son geste et agir sans heurter ce qui l’entoure. C’est précisément ce pont entre intelligence numérique et monde physique que Google DeepMind veut renforcer avec Gemini Robotics et Gemini Robotics-ER, annoncés le 12 mars 2025.

Ces deux modèles prolongent Gemini 2.0, la famille d’IA générative de Google. Leur ambition n’est pas de fabriquer un nouveau robot à eux seuls, mais de fournir une couche d’intelligence susceptible d’aider différents matériels robotiques à mieux percevoir leur environnement, raisonner sur une tâche et la réaliser. Cette nuance est importante : un modèle d’IA et un robot sont complémentaires. Le premier interprète les informations et décide d’une suite d’actions, le second fournit les bras, les capteurs, les moteurs et les mécanismes nécessaires pour agir.

Deux modèles pour rapprocher l’IA du monde physique

Google DeepMind présente Gemini Robotics comme un modèle « vision-langage-action ». Cette expression désigne une architecture qui met en relation trois types d’informations : ce qu’un robot voit grâce à ses caméras, ce qu’un utilisateur lui demande en langage naturel et les mouvements que la machine doit effectuer.

Dans la robotique traditionnelle, programmer une nouvelle tâche peut exiger de préciser à l’avance de nombreux paramètres : la position de départ, l’orientation de la pince, la trajectoire ou la force à appliquer. Cette approche est efficace dans un environnement industriel très stable, mais elle devient fragile dès qu’un objet change de place, qu’un outil est différent ou que la consigne varie. L’objectif d’un modèle génératif est de donner au robot davantage de souplesse face à ces variations.

Gemini Robotics reçoit ainsi une image ou une séquence visuelle de son environnement, ainsi qu’une instruction formulée naturellement. Il peut ensuite produire les actions adaptées à la plate-forme robotique à laquelle il est relié. Google DeepMind indique que le modèle sait généraliser à de nouveaux objets, de nouveaux environnements et de nouvelles consignes, plutôt que de répéter uniquement les scénarios vus durant son entraînement.

Le laboratoire affirme que Gemini Robotics obtient plus du double des performances d’autres modèles vision-langage-action sur son benchmark de généralisation complet. Ce chiffre donne un aperçu du potentiel revendiqué, mais il doit être lu dans son contexte : les benchmarks mesurent des tâches définies, dans des conditions elles aussi définies. Ils ne suffisent pas à démontrer qu’un robot est prêt à accomplir, sans supervision, toutes les tâches d’un domicile ou d’une usine.

Que change Gemini Robotics dans la commande d’un robot ?

La promesse de Gemini Robotics repose sur une interaction plus directe entre une instruction humaine et l’action mécanique. Au lieu de demander à un opérateur de décrire une succession précise de mouvements, l’utilisateur pourrait formuler un objectif. Le système doit alors identifier les objets concernés, interpréter la relation spatiale entre eux et planifier les gestes utiles.

Les démonstrations présentées par Google DeepMind montrent notamment des robots capables de manipuler des objets variés, de plier de l’origami ou de ranger une collation dans un sac. Ces exemples illustrent deux difficultés classiques. D’une part, les objets souples comme le papier ou un emballage ne réagissent pas de façon parfaitement prévisible. D’autre part, une tâche de rangement suppose de comprendre qu’un objet doit être déplacé vers un contenant, sans écraser ni faire tomber les autres éléments.

L’intérêt du langage naturel est aussi de rendre l’interface plus accessible. Dire à une machine de « mettre les fruits dans le bol » paraît simple, mais cette phrase demande d’associer les mots aux objets visibles, de distinguer le bol d’autres récipients et de produire une trajectoire qui évite les obstacles. Pour un robot, cette chaîne de décisions associe perception, raisonnement et contrôle moteur.

Il ne s’agit toutefois pas d’attribuer une compréhension humaine à la machine. Le modèle calcule des représentations à partir de ses données d’entraînement et des informations captées, puis sélectionne des actions. Sa fiabilité dépend donc autant de l’IA que des caméras, des capteurs, de la qualité du bras robotisé, de son contrôleur et des limites imposées à ses mouvements.

Gemini Robotics-ER, le spécialiste du raisonnement spatial

Le second modèle, Gemini Robotics-ER, où « ER » renvoie au raisonnement incarné, ne se substitue pas nécessairement au système qui pilote les moteurs. Sa fonction est d’aider le robot à mieux analyser l’espace qui l’entoure et à résoudre les problèmes concrets posés par une tâche.

Google DeepMind indique que ce modèle améliore la compréhension du monde de Gemini 2.0 grâce à des capacités de raisonnement spatial et d’utilisation d’outils. Il peut notamment détecter des objets, les localiser, indiquer un point dans l’espace et estimer la trajectoire qu’un bras devrait suivre pour les atteindre. Une telle brique peut être reliée à un contrôleur de bas niveau déjà présent dans un robot, chargé lui de convertir une intention en mouvements précis des articulations.

Cette séparation des rôles a un intérêt pratique. Les fabricants de robots possèdent souvent leurs propres systèmes de contrôle, adaptés à la forme de leur machine, à ses moteurs et à ses dispositifs de sécurité. Un modèle de raisonnement comme Gemini Robotics-ER pourrait enrichir ces systèmes sans imposer de repartir de zéro.

Apptronik et les testeurs de confiance au cœur du déploiement

Pour passer des démonstrations aux usages réels, Google DeepMind s’appuie sur des partenaires spécialisés dans le matériel robotique. Le laboratoire annonce une collaboration avec Apptronik afin de combiner Gemini Robotics avec Apollo, le robot humanoïde de l’entreprise. Le choix d’une silhouette humanoïde répond à une logique simple : de nombreux espaces de travail, meubles, outils et équipements ont été conçus pour des humains. Un robot doté de deux bras et d’une taille comparable peut, en théorie, les utiliser sans exiger une transformation complète des lieux.

L’annonce ne signifie pas pour autant qu’Apollo équipé de Gemini Robotics soit proposé au grand public. Au 12 mars 2025, les modèles restent dans une phase de développement et d’évaluation. Google DeepMind réserve l’accès à des « testeurs de confiance » afin de recueillir des retours dans des conditions concrètes et de corriger les limites observées.

Pour Gemini Robotics-ER, le groupe de partenaires mentionné par le laboratoire comprend Agile Robots, Agility Robotics, Boston Dynamics et Enchanted Tools. Ces collaborations donnent accès à des robots aux formes et aux usages différents. Elles permettent surtout de vérifier si un même modèle peut être adapté à plusieurs plates-formes, enjeu majeur pour éviter de devoir entraîner une IA entièrement nouvelle pour chaque machine.

La sécurité ne se limite pas à empêcher les collisions

Mettre un modèle génératif aux commandes d’un robot ajoute une exigence qui n’existe pas de la même manière dans une conversation textuelle. Une réponse maladroite dans un assistant peut être corrigée par l’utilisateur. Un mouvement inadapté d’un bras robotisé peut endommager un objet, perturber une tâche ou mettre une personne en danger.

Google DeepMind explique avoir ajouté des protections spécifiques à la robotique aux mécanismes de sécurité de Gemini. Le laboratoire a notamment conçu ASIMOV, un jeu de données destiné à évaluer la « sécurité sémantique » des modèles d’IA incarnée. L’enjeu est d’évaluer leur capacité à éviter des actions potentiellement dangereuses pour les personnes, au-delà du simple respect de limites mécaniques comme une vitesse maximale ou une zone interdite.

Le groupe a également développé une « constitution robotique », inspirée des lois de la robotique formulées par l’écrivain Isaac Asimov. Cette constitution doit aider le modèle à appliquer des règles de sécurité de haut niveau. Elle ne dispense pas des protections matérielles : arrêt d’urgence, limitation de force, détection de présence humaine, validation des trajectoires et supervision restent indispensables autour d’un système robotique.

Quels usages, et quelles limites, pour ces robots ?

Les applications potentielles sont nombreuses, de la logistique à l’assemblage, en passant par la préparation de commandes ou certaines tâches de service. Dans un entrepôt ou une usine, un système capable de reconnaître des objets variés et de s’adapter à une instruction pourrait compléter les automates très spécialisés déjà présents sur les chaînes de production. Dans un cadre domestique, l’intérêt se situerait plutôt dans l’aide aux tâches répétitives de rangement ou de manipulation.

Mais entre une démonstration et une adoption à grande échelle, plusieurs obstacles subsistent. Les environnements réels sont désordonnés, les objets peuvent être fragiles ou imprévisibles, et les personnes ne formulent pas toujours des consignes parfaitement explicites. La vitesse d’exécution, le coût du matériel, l’autonomie énergétique et la maintenance détermineront aussi la viabilité économique de ces robots.

L’arrivée de systèmes capables de réaliser davantage de tâches peut également transformer l’organisation du travail. Certaines activités physiques répétitives pourraient être automatisées, tandis que de nouveaux besoins apparaîtraient dans le déploiement, la maintenance, la surveillance et la formation des équipes. Ces effets dépendront moins du seul modèle Gemini que des choix des entreprises, des réglementations et de la manière dont les robots seront effectivement introduits sur les lieux de travail.

Ce qu’il faut surveiller après cette annonce

La question centrale sera celle du passage à l’échelle. Google DeepMind devra démontrer que ses modèles conservent leurs capacités hors des scénarios de test, avec des robots différents et dans des environnements où chaque situation n’a pas été préparée à l’avance. Il faudra aussi observer la qualité des garde-fous lorsque les machines côtoient des personnes.

À court terme, les annonces de partenariats et les essais avec des testeurs de confiance constituent surtout un signal : les grands modèles multimodaux ne sont plus uniquement destinés à écrire, résumer ou générer des images. Avec Gemini Robotics et Gemini Robotics-ER, Google DeepMind cherche à les faire entrer dans l’espace physique. La promesse est considérable, mais elle se mesurera à la régularité des gestes, à la sécurité et à l’utilité réelle des robots, tâche après tâche.