SketchAgent apprend à l’IA à esquisser trait par trait, comme un humain

Une esquisse n’est pas une image comme une autre. Quelques lignes peuvent suffire à expliquer un mécanisme, organiser les étapes d’un projet ou faire naître une idée avant même qu’elle soit formulée avec précision. Ce langage visuel rapide, souvent imparfait mais très expressif, repose sur un geste progressif : on ajoute un rectangle pour une porte, une courbe pour une voile, puis des détails qui donnent du sens à l’ensemble.

C’est ce processus que cherche à approcher SketchAgent, un système présenté par des chercheurs du MIT CSAIL et de l’Université Stanford. Annoncé en juin 2025, l’outil ne vise pas simplement à livrer une illustration achevée à partir d’une requête. Il s’efforce de produire un croquis en construisant ses traits l’un après l’autre, avec l’ambition de rendre l’échange visuel entre une personne et une IA plus direct et plus intuitif.

L’enjeu dépasse la démonstration artistique. Si une machine parvient à traduire une idée en schéma lisible, puis à le modifier avec son utilisateur, elle pourrait devenir un interlocuteur visuel utile dans l’enseignement, la conception ou l’explication de systèmes complexes. SketchAgent reste toutefois un prototype de recherche, avec des capacités encore éloignées de celles d’un dessinateur professionnel.

Pourquoi apprendre à une IA à esquisser plutôt qu’à générer une image ?

Les générateurs d’images par IA sont généralement sollicités pour créer un résultat complet : une scène, une affiche, une illustration ou une image réaliste. L’utilisateur décrit ce qu’il souhaite, puis ajuste sa demande jusqu’à obtenir une proposition satisfaisante. Cette approche peut être efficace, mais elle ne correspond pas toujours au rôle d’un croquis.

Dans la pratique, une esquisse est souvent un outil de raisonnement. Elle permet de mettre une idée sur le papier sans attendre d’avoir décidé tous les détails. Un élève peut dessiner le cycle de l’eau pour vérifier sa compréhension. Une équipe peut schématiser un flux de travail avant de construire un produit. Une personne peut aussi compléter le dessin de quelqu’un d’autre pour préciser ce qu’elle a en tête.

Pour les chercheurs, il s’agit donc d’apprendre au modèle non seulement quoi représenter, mais aussi comment organiser une représentation visuelle de façon progressive. Yael Vinker, auteure principale de l’étude, explique que l’objectif de l’outil est de s’approcher de la manière dont les humains schématisent leurs pensées et leurs idées.

Cette différence est importante. Une image finale peut impressionner tout en restant difficile à corriger ou à expliquer. Un croquis séquentiel, lui, rend visible une partie de la construction de l’idée : chaque nouveau trait peut compléter, préciser ou réorienter ce qui précède.

Un langage de croquis pour décomposer le dessin

La particularité de SketchAgent tient à la manière dont les chercheurs décrivent un dessin au modèle. Plutôt que de considérer l’esquisse comme une image unique, ils ont conçu un langage de dessin. Celui-ci décompose le croquis en une suite numérotée de coups de pinceau positionnés sur une grille.

Chaque trait reçoit une représentation qui aide à l’interpréter dans l’ensemble du dessin. L’exemple donné par l’équipe est celui d’un rectangle pouvant symboliser une porte d’entrée. Le modèle ne se contente donc pas de placer une forme : il apprend à associer des éléments graphiques simples à leur rôle possible dans une représentation plus large.

Cette méthode vise à faire émerger une logique de composition. Pour dessiner un objet ou schématiser une activité, il faut déterminer quels éléments sont les plus importants, dans quel ordre ils doivent apparaître et de quelle manière ils se relient. C’est cette succession d’opérations que SketchAgent tente de reproduire.

L’approche a également un avantage pour la généralisation, selon les travaux décrits : le système peut aborder de nouveaux concepts sans devoir parcourir de vastes collections de dessins humains pour chacun d’eux. Cela ne signifie pas qu’il comprend une idée comme une personne, mais qu’il dispose d’une façon structurée de transformer une description en marques graphiques.

Ce que SketchAgent sait déjà représenter

Les expérimentations montrent que le système peut générer des représentations abstraites de notions variées, notamment un robot ou un flux de travail. Dans ces cas, le but n’est pas de produire une image réaliste, mais de retenir les éléments visuels nécessaires à l’identification d’une idée.

Un robot esquissé n’a pas besoin de tous les détails mécaniques d’une illustration technique. Quelques formes peuvent évoquer une tête, un corps, des membres ou une fonction. De même, un flux de travail peut prendre la forme de blocs, de traits et de connexions qui rendent visible l’enchaînement des étapes. Cette économie de moyens fait partie de l’utilité d’un croquis.

Les chercheurs comparent notamment cette approche à des systèmes de génération d’images tels que DALL-E 3. Leur constat est que SketchAgent se distingue par sa capacité à saisir l’aspect spontané et itératif de l’esquisse. Là où un générateur d’images vise généralement une sortie visuelle complète, SketchAgent s’appuie sur une succession de traits qui donne au résultat une construction plus proche d’un dessin en cours.

La collaboration humain-IA au cœur des tests

SketchAgent peut dessiner de manière autonome à partir d’une instruction textuelle, mais la collaboration avec une personne constitue l’un des points centraux du projet. L’idée est de permettre des échanges où l’humain et le système contribuent tous deux à une même esquisse, au lieu de limiter l’utilisateur à accepter ou rejeter une image produite d’un seul bloc.

Cette interaction change la place de l’IA. Elle n’est plus seulement un outil qui répond à une demande finale, mais un partenaire susceptible d’ajouter des éléments pendant que l’idée se précise. En théorie, cela peut aider une personne à dépasser le blocage de la page blanche, à donner une forme à une explication ou à compléter rapidement un schéma.

Les chercheurs ont testé cette dimension collaborative, notamment avec le dessin d’un voilier. Dans cette expérience, les traits ajoutés par SketchAgent se sont révélés déterminants : une fois ces contributions retirées, le croquis final devenait méconnaissable. Le résultat souligne que, dans certaines configurations, la machine n’apporte pas seulement une décoration secondaire. Ses interventions peuvent participer directement à la lisibilité du dessin.

Il convient néanmoins de ne pas surinterpréter ce test. Il montre l’utilité des traits générés par le système dans cette tâche précise, non une capacité générale de l’IA à remplacer la créativité humaine. La qualité d’une collaboration dépendra toujours de la consigne, de la simplicité du concept à représenter et de la capacité de chacun à comprendre les apports de l’autre.

Quelles sont les limites de SketchAgent ?

Les résultats présentés sont prometteurs, mais les auteurs signalent plusieurs limites importantes. SketchAgent ne produit pas encore des esquisses de niveau professionnel. Cette précision est essentielle : un dessin lisible et un dessin maîtrisé sur le plan artistique, technique ou commercial ne répondent pas aux mêmes exigences.

Le système rencontre notamment des difficultés avec les logos, qui demandent souvent une grande précision géométrique et une intention graphique forte. Les animaux détaillés posent également problème : ils nécessitent de gérer de nombreuses formes, des proportions fines et des caractéristiques distinctives. Dès que le sujet devient complexe, la simple succession de traits peut ne plus suffire à construire une représentation convaincante.

Autre difficulté, SketchAgent peut mal interpréter l’intention de l’utilisateur. C’est un problème courant dans les interactions avec les systèmes d’IA : une consigne qui semble claire à une personne peut être ambiguë pour le modèle. Dans une activité de dessin collaboratif, cette ambiguïté peut produire des ajouts inattendus, voire éloigner le croquis de l’idée initiale.

Ces limites rappellent qu’un croquis n’est pas seulement un assemblage de formes. Son sens dépend du contexte, de conventions visuelles, du niveau de détail attendu et de ce que l’interlocuteur cherche réellement à expliquer. En juin 2025, SketchAgent doit donc être compris comme une piste de recherche sur l’interaction visuelle, non comme un logiciel capable de répondre à tous les besoins de création graphique.

Des usages possibles dans l’éducation et la conception

Même imparfait, un tel système ouvre plusieurs pistes. Dans un cadre éducatif, la capacité à représenter rapidement des notions pourrait aider à transformer une question en schéma. Un élève pourrait demander une visualisation simplifiée d’un mécanisme ou d’une suite d’étapes, puis la modifier pour vérifier qu’il a compris. L’intérêt ne serait pas de déléguer l’apprentissage à l’IA, mais de disposer d’un support de discussion et de reformulation.

Dans les domaines artistiques, SketchAgent pourrait aussi servir d’outil d’exploration. Les premières lignes d’une idée sont souvent les plus difficiles à poser. Une IA capable de proposer une structure visuelle peut offrir un point de départ, que l’utilisateur reste libre de corriger, compléter ou abandonner. La valeur du système dépendrait alors de la facilité avec laquelle il accepte les retours humains.

Les applications potentielles concernent aussi les activités scientifiques et professionnelles où le dessin sert surtout à expliquer : architecture d’un projet, circulation d’une information, organisation d’un espace ou fonctionnement d’un objet. Dans ces situations, la rapidité et la clarté d’un schéma peuvent compter davantage que sa finition.

Les travaux sont présentés dans le cadre de CVPR 2025, une conférence consacrée à la vision par ordinateur et à la reconnaissance de formes. Leur intérêt réside moins dans la promesse d’images spectaculaires que dans une question plus fondamentale : comment rendre les modèles multimodaux capables de participer à une réflexion visuelle progressive ?

Ce qu’il faut surveiller

La prochaine étape annoncée concerne l’interface entre l’utilisateur et les modèles multimodaux. Pour qu’une collaboration de dessin soit réellement utile, il faudra que la personne puisse facilement indiquer ce qu’elle souhaite conserver, modifier ou ajouter, sans avoir à reformuler entièrement son intention à chaque échange.

Les chercheurs envisagent aussi un entraînement sur des données synthétiques générées par des modèles de diffusion. Cette piste pourrait améliorer la diversité et la précision des esquisses. Elle soulève néanmoins une exigence pratique : une plus grande variété de données ne garantit pas, à elle seule, une meilleure compréhension des demandes humaines ni des dessins plus pertinents.

La question décisive sera celle du contrôle. Un bon outil d’esquisse assistée devra donner à l’utilisateur la main sur le processus, rendre les interventions de l’IA compréhensibles et accepter la correction plutôt que d’imposer sa propre interprétation. Si ces conditions sont réunies, des systèmes comme SketchAgent pourraient élargir la manière dont nous dialoguons avec les machines : non seulement avec des phrases ou des images finies, mais aussi avec des idées encore en train de prendre forme.