SketchAgent : au MIT et à Stanford, l’IA apprend à dessiner trait par trait

Un croquis sert souvent à réfléchir avant même de servir à montrer. Quelques lignes suffisent à faire émerger la silhouette d’une maison, le mécanisme d’un objet ou l’organisation d’une idée. C’est précisément cette dimension progressive du dessin que des chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT, le CSAIL, et de l’Université Stanford cherchent à faire comprendre à une machine avec SketchAgent.

Le projet ne prétend pas transformer une intelligence artificielle en illustrateur professionnel. Son ambition est différente : permettre à un modèle de participer à une esquisse au fil de sa construction, plutôt que de livrer une image achevée et difficile à modifier. À partir d’une instruction rédigée en langage naturel, le système peut produire un dessin en quelques secondes, seul ou avec l’intervention d’un utilisateur.

Un dessin conçu comme une suite de décisions

La plupart des outils de génération d’images sont pensés pour fournir un résultat final. L’utilisateur formule une demande, puis reçoit une image complète. Cette approche est efficace pour visualiser une scène, mais elle masque largement les étapes qui ont conduit au résultat. Or, pour dessiner, enseigner ou travailler à plusieurs sur une idée, le chemin compte autant que l’image finale.

SketchAgent aborde le problème autrement. Le système modélise l’esquisse comme une séquence de traits. Chaque élément est dessiné l’un après l’autre : le contour d’une maison, puis son toit, ses fenêtres ou sa porte, par exemple. Cette progression rapproche son fonctionnement du geste de croquis, où l’on pose des repères, corrige une proportion et ajoute progressivement des détails utiles à la reconnaissance de l’objet.

Les chercheurs s’appuient pour cela sur une forme de « langue de croquis » dans laquelle les traits sont numérotés. Cet ordre est important : il indique non seulement ce qui apparaît sur la feuille, mais aussi dans quelle succession les éléments doivent être construits. L’enjeu est de donner au modèle un moyen de composer de nouveaux dessins à partir de principes visuels simples, au lieu de se limiter à reproduire une image fixe.

Cette logique explique pourquoi le projet s’intéresse au dessin vectoriel. Dans une image vectorielle, les formes sont décrites par des instructions géométriques, telles que des lignes ou des courbes, plutôt que par une mosaïque de pixels. Un tel format se prête naturellement à une production trait par trait et à la modification d’un élément précis sans refaire tout le dessin.

Comment SketchAgent traduit-il une consigne en croquis ?

SketchAgent repose sur un modèle de langage multimodal, c’est-à-dire un système capable de traiter à la fois du texte et des informations visuelles. L’utilisateur peut formuler une demande simple en langage courant, par exemple demander le dessin d’une maison. Le modèle décompose alors cette demande en éléments visuels et produit les traits correspondants.

L’intérêt d’un modèle multimodal est de faire le lien entre les mots et leur représentation graphique. Pour qu’un dessin de voilier soit identifiable, le système doit comprendre qu’une coque, une voile et surtout un mât ne jouent pas le même rôle. Il ne s’agit pas uniquement d’accumuler des lignes : certains traits portent une information essentielle, d’autres servent davantage à préciser ou à décorer.

Les expérimentations décrites autour de SketchAgent ont porté sur des concepts variés, parmi lesquels un robot, un flocon de neige, une maison et un voilier. Le système a également été confronté à des demandes plus variées, comme des papillons ou l’Opéra de Sydney. Cette diversité vise à vérifier s’il peut généraliser son procédé de croquis à des objets, des formes et des structures qu’il ne rencontre pas toujours sous une forme identique.

Le dessin obtenu demeure volontairement simple. Il s’apparente souvent à un schéma, à un dessin au trait ou à une silhouette minimale. C’est une limite par rapport aux générateurs d’images capables de produire une illustration très détaillée, mais aussi une caractéristique utile lorsqu’il faut communiquer rapidement une idée, expliquer une structure ou laisser de la place à l’interprétation humaine.

Pourquoi le trait par trait change la collaboration avec l’IA

La promesse centrale de SketchAgent est l’interaction. Lorsqu’une IA ne fournit qu’une image finie, l’utilisateur peut demander une nouvelle version, mais il intervient peu dans la construction de l’image. Un système qui dessine progressivement peut, au contraire, devenir un partenaire de travail : l’humain ajoute, ajuste ou complète des éléments, tandis que le modèle poursuit l’esquisse.

Dans les expériences rapportées, les traits produits par l’IA participaient directement à la cohérence du dessin final. L’exemple du voilier le montre clairement : lorsque les traits correspondant au mât sont retirés, le dessin devient beaucoup moins reconnaissable. Cette observation souligne un point simple, mais déterminant : une bonne esquisse ne repose pas sur le nombre de lignes, elle dépend du choix des lignes qui transmettent le mieux le concept.

Cette capacité pourrait être particulièrement intéressante dans les situations où le dessin sert de langage commun. Un enseignant qui schématise un phénomène, un élève qui cherche à visualiser une notion ou un groupe qui prépare une idée de projet n’ont pas nécessairement besoin d’une image spectaculaire. Ils ont besoin d’un visuel que chacun peut comprendre, discuter et modifier.

L’IA ne remplace pas pour autant le jugement de la personne qui dessine. L’utilisateur reste celui qui formule l’intention, qui repère une ambiguïté et qui décide si l’esquisse est pertinente. SketchAgent se situe ainsi davantage du côté de l’assistance au croquis que de la création autonome d’une œuvre achevée.

SketchAgent et les générateurs d’images : deux usages distincts

Comparer SketchAgent à un outil de génération d’images comme DALL-E revient moins à désigner un vainqueur qu’à distinguer deux manières de créer avec l’IA. Les générateurs d’images visent généralement un rendu complet, parfois très élaboré. SketchAgent s’intéresse à la construction visible de l’idée, par une succession d’actions graphiques.

Cette différence a des conséquences concrètes. Une image finale peut être très convaincante sans être facile à expliquer ou à adapter. À l’inverse, un croquis simple peut révéler instantanément la structure d’un objet et rendre les corrections plus naturelles. Dans un contexte éducatif ou collaboratif, cette transparence du processus peut être plus utile que le niveau de détail.

Claude 3.5 Sonnet devant GPT-4o dans les essais

Les chercheurs ont évalué plusieurs modèles de langage multimodaux afin de mesurer leur aptitude à créer ces esquisses. Dans cette configuration, Claude 3.5 Sonnet a été utilisé comme modèle par défaut et a surpassé GPT-4o dans les résultats rapportés pour la production de graphismes vectoriels.

Ce résultat doit être lu dans le cadre précis de SketchAgent. Il ne signifie pas qu’un modèle serait supérieur dans tous les domaines de la création visuelle, ni qu’il produirait automatiquement de meilleures images finies. Les modèles étaient évalués ici sur leur capacité à suivre une représentation séquentielle du dessin, à organiser les traits et à produire une esquisse reconnaissable.

La comparaison illustre néanmoins l’importance du choix du modèle lorsqu’une IA doit manipuler simultanément des consignes textuelles et des informations visuelles. Un système performant en conversation ou en analyse d’image ne se révèle pas nécessairement aussi à l’aise pour organiser une suite d’actions graphiques cohérentes.

Des limites encore très visibles sur les dessins complexes

Les résultats de SketchAgent restent ceux d’un prototype de recherche. Les dessins produits sont souvent proches de représentations en bâtons ou de gribouillis structurés. Cette simplicité peut convenir à une première visualisation, mais elle montre aussi les difficultés rencontrées dès qu’il faut représenter une forme complexe, une figure humaine détaillée, un animal spécifique ou un logo.

Le système peut également mal saisir les nuances d’une intention humaine. L’exemple d’un lapin à deux têtes généré par l’IA rappelle que la reconnaissance des objets et l’organisation des traits ne suffisent pas toujours à produire une représentation juste. Une instruction apparemment claire pour une personne peut conduire le modèle à une interprétation incohérente ou aberrante.

Ces erreurs posent une question essentielle pour les outils créatifs : comment préserver la souplesse de l’esquisse sans perdre le contrôle du sens ? Une IA capable de dessiner vite peut donner des pistes, mais l’utilisateur doit pouvoir détecter facilement une mauvaise interprétation et la corriger. C’est d’autant plus nécessaire lorsque le croquis sert à transmettre un savoir ou à prendre une décision.

Quels usages dans l’éducation et la création ?

Les chercheurs voient notamment dans SketchAgent un potentiel pour l’enseignement. Un tel système pourrait aider à diagrammer des concepts complexes, proposer des leçons de dessin rapides ou servir d’appui à un exercice de visualisation. L’objectif ne serait pas de déléguer l’apprentissage à l’outil, mais de rendre certaines explications plus concrètes et interactives.

Dans une salle de classe, le dessin est déjà un moyen courant de simplifier une idée. Une IA capable de participer à un schéma pourrait, par exemple, proposer une base que l’enseignant ou les élèves complètent ensuite. Cette approche peut favoriser une discussion sur ce qu’il faut représenter, sur l’ordre des éléments et sur les détails réellement nécessaires pour comprendre un concept.

Des ateliers créatifs pourraient aussi y trouver un intérêt. Parce que le système travaille à partir de demandes formulées en langage naturel et de traits simples, il pourrait aider à passer d’une description verbale à une première représentation. Le bénéfice ne tient pas uniquement à la vitesse : voir une idée prendre forme progressivement peut aider à identifier les zones floues d’un projet.

Il faut toutefois distinguer l’assistance à la pensée visuelle d’un enseignement artistique complet. Apprendre à dessiner suppose aussi l’observation, la maîtrise du geste, la composition et le développement d’un regard personnel. SketchAgent peut contribuer à l’étape de l’esquisse ou de l’explication, mais ne remplace pas cette pratique.

Ce qu’il faut surveiller pour la suite

Pour améliorer les performances de SketchAgent, les chercheurs évoquent l’usage de données synthétiques issues de modèles de diffusion. Ces données seraient générées par d’autres systèmes d’IA afin d’élargir les exemples disponibles pour l’apprentissage. Cette piste pourrait enrichir la variété des formes et des situations rencontrées par le modèle, à condition de préserver la précision des représentations et d’éviter de reproduire ou d’amplifier des erreurs.

L’autre chantier concerne l’interface. Un outil de croquis collaboratif ne sera réellement utile que si l’échange entre la personne et le système reste simple : demander une modification, ajouter un trait, signaler une erreur ou orienter la suite du dessin doivent pouvoir se faire sans interrompre la réflexion. La qualité de cette interaction comptera autant que la capacité brute du modèle à tracer des lignes.

En juin 2025, SketchAgent ouvre donc une piste de recherche concrète : faire de l’IA non plus seulement un générateur d’images, mais un interlocuteur visuel capable de construire une idée avec l’humain. Ses erreurs et ses dessins rudimentaires montrent le chemin qui reste à parcourir. Mais son approche trait par trait met en lumière une question appelée à prendre de l’importance : une IA créative doit-elle seulement produire un résultat, ou doit-elle aussi rendre son processus suffisamment lisible pour que l’on puisse réellement collaborer avec elle ?