Au MIT, une méthode ramène l’édition d’images à une séquence de 32 tokens

Créer une image avec une intelligence artificielle paraît souvent magique, mais le processus cache habituellement une infrastructure lourde : de grands jeux de données, un modèle entraîné à reconnaître les régularités visuelles et une quantité importante de calcul. Des chercheurs du MIT proposent d’explorer un raccourci conceptuel. Leur idée consiste à représenter une image non par une vaste grille de fragments visuels, mais par une courte séquence de 32 tokens. Cette compression pourrait rendre certaines opérations de création ou de retouche plus directes.

L’enjeu dépasse la seule prouesse de compression. Si une image tient dans un petit nombre de variables qui conservent ses caractéristiques importantes, ces variables peuvent devenir des commandes de manipulation. Les chercheurs montrent ainsi qu’en intervenant sur un token donné, il est possible d’influer sur certains attributs du visuel produit. Ils décrivent également des usages pour l’inpainting, c’est-à-dire le remplissage d’une zone supprimée dans une image. Il ne s’agit pas, à ce stade, d’un outil grand public prêt à remplacer les générateurs d’images connus, mais d’une piste de recherche pour repenser leur fonctionnement.

Une image réduite à 32 valeurs numériques

Un tokenizer est un mécanisme qui transforme une information complexe en unités plus faciles à traiter par un modèle informatique. En langage, un token peut être un mot, une partie de mot ou un signe de ponctuation. Pour une image, le principe est différent : le tokenizer apprend à résumer les formes, les textures, les objets et les relations spatiales sous forme de codes numériques.

Dans l’approche présentée par l’équipe du MIT, une image de 256 × 256 pixels est convertie en une séquence unidimensionnelle de 32 valeurs, appelées tokens. Un détokeniseur effectue le chemin inverse : il reçoit la séquence compacte et reconstitue une image. Les pixels ne sont donc pas stockés un par un. Le système conserve plutôt une représentation condensée de l’information visuelle qu’il juge utile à la reconstruction.

Cette différence est importante. Une image de 256 × 256 pixels comprend 65 536 positions de pixels avant même de considérer leurs composantes de couleur. Aucun résumé de 32 valeurs ne peut préserver chaque détail à l’identique. L’objectif n’est pas une copie parfaite au pixel près, mais une représentation suffisamment riche pour recréer une image cohérente et permettre des transformations utiles.

La réduction est donc nette : passer de 256 à 32 tokens revient à manipuler huit fois moins d’unités dans cette étape de représentation. Cela ne signifie pas automatiquement que tout le système devient huit fois moins coûteux, car les performances dépendent aussi du détokeniseur, de l’entraînement et de la tâche demandée. Mais une séquence plus courte peut simplifier une partie des calculs et des échanges d’information entre les composants du modèle.

Pourquoi cette compression intéresse la génération d’images

Les générateurs d’images traditionnels doivent généralement apprendre à produire des scènes plausibles à partir de descriptions ou d’exemples. Cette étape repose sur de très grands ensembles de données et peut réclamer un entraînement long et coûteux. La méthode décrite par les chercheurs cherche à s’appuyer sur une représentation visuelle particulièrement compacte, plutôt que de multiplier les éléments à générer et à coordonner.

La publication d’origine indique que le dispositif peut fonctionner sans recourir à un générateur d’images traditionnel. Cette formulation mérite une précision : la méthode ne supprime pas le besoin de modèles entraînés ni celui de données visuelles. Le tokenizer et le détokeniseur doivent eux-mêmes avoir appris à encoder et à reconstruire des images. Les données peuvent notamment associer des images compressées à leurs descriptions textuelles, afin que le système relie les concepts exprimés par des mots aux structures visuelles.

La différence porte donc surtout sur l’architecture et sur la quantité d’information visuelle manipulée au cours du processus. Au lieu de raisonner sur une grande carte de tokens répartis dans l’espace, le système travaille sur une liste courte. C’est une façon de rapprocher le traitement des images de certaines méthodes employées pour le texte, où des séquences de tokens constituent l’entrée et la sortie principale des modèles.

Les chercheurs associent aussi leur approche au modèle CLIP. Celui-ci sert à rapprocher des images et des descriptions textuelles dans une même représentation : il aide à évaluer si une image correspond à une consigne telle que « un tigre » ou « un paysage urbain ». Dans ce cadre, CLIP ne dessine pas directement l’image. Il peut contribuer à orienter ou à évaluer les modifications apportées aux tokens visuels.

Comment les tokens peuvent-ils modifier une image ?

L’un des résultats les plus intéressants de ces travaux concerne l’influence de chaque token. L’équipe a étudié ce qui se produit lorsqu’un token particulier est remplacé par une valeur aléatoire. Cette perturbation provoque des changements observables dans l’image reconstituée. Certains tokens semblent davantage liés à la luminosité, d’autres au flou de l’arrière-plan ou à des propriétés associées à la qualité visuelle.

Cette observation ouvre une perspective séduisante : si l’on identifie précisément la fonction d’un token, on pourrait agir sur un attribut visuel sans redessiner l’ensemble de l’image. Dans une démonstration rapportée par les chercheurs, l’interaction entre le tokenizer et CLIP permet notamment de transformer l’image d’un panda roux en image de tigre. Le résultat illustre une capacité de transformation sémantique, c’est-à-dire une modification de l’identité ou du contenu représenté.

Il faut néanmoins éviter d’imaginer qu’un token correspond toujours à une commande aussi nette que « augmenter la lumière » ou « remplacer l’animal ». Dans les réseaux de neurones, les informations sont souvent distribuées entre plusieurs variables. Le fait qu’une substitution aléatoire provoque un effet visible permet de repérer une influence, mais ne garantit pas un contrôle parfait, reproductible et indépendant des autres éléments de l’image.

L’article évoque aussi un changement de résolution associé à certains tokens. Sur le plan strictement technique, une image reconstruite en 256 × 256 pixels conserve le même nombre de pixels si son format ne change pas. Le terme peut donc renvoyer ici à une amélioration ou une dégradation perçue de la netteté, des détails ou de la qualité visuelle. Les informations fournies ne précisent pas le protocole exact de cette manipulation.

L’inpainting, une retouche sans générateur traditionnel

L’inpainting est une fonction déjà familière aux utilisateurs d’outils de retouche par IA. Le principe est simple : une partie d’une image est masquée ou effacée, puis le système invente un contenu qui doit s’accorder avec le reste de la scène. Effacer un objet, compléter un décor ou réparer une zone manquante sont des exemples typiques.

Les chercheurs rapportent avoir obtenu cette capacité sans passer par un générateur d’images au sens traditionnel. Leur système s’appuie sur la représentation compacte en tokens et sur la reconstruction opérée par le détokeniseur. L’intérêt potentiel est de réduire les besoins de calcul associés à certaines étapes de la génération, tout en conservant une possibilité de compléter l’image.

Pour les métiers de la création, cette direction est particulièrement intéressante. La conception graphique, la publicité, l’illustration ou la préparation de contenus pour le commerce en ligne utilisent fréquemment des retouches locales. Un système capable de comprendre une image sous une forme condensée pourrait, à terme, accélérer certains flux de travail et automatiser des opérations répétitives.

L’expression « en temps réel » doit toutefois être replacée dans son contexte expérimental. L’article indique que l’édition peut être automatisée et réalisée rapidement, mais ne donne ni mesure de latence, ni matériel utilisé, ni comparaison chiffrée avec les outils existants. Il est donc impossible, sur la seule base de ces éléments, de déduire une performance garantie dans une application commerciale ou sur un ordinateur personnel.

Ce que la méthode ne résout pas encore

La compacité est une promesse, pas une solution à toutes les difficultés de l’image générée par IA. Plus une représentation est courte, plus elle risque de perdre des détails fins. Les textures complexes, les petits textes intégrés à une image, les éléments minuscules ou les contours exigeant une grande précision peuvent être difficiles à restituer lorsqu’ils doivent être résumés dans seulement 32 tokens.

La méthode décrite concerne des images de 256 × 256 pixels. Cette taille est suffisante pour évaluer une idée de recherche et visualiser un résultat, mais elle est inférieure aux définitions couramment demandées pour l’impression, la photographie ou certains usages professionnels. La capacité à conserver le même niveau de contrôle et de fidélité sur des images plus grandes n’est pas établie dans les informations disponibles.

Autre limite essentielle : le contrôle utilisateur. Une retouche réellement pratique suppose qu’une personne puisse demander un changement clair, obtenir un résultat prévisible, revenir en arrière et préserver ce qui ne doit pas être modifié. Remplacer un token par une valeur aléatoire est utile pour la recherche, car cela permet d’observer les effets internes du modèle. Ce n’est pas encore l’équivalent d’un pinceau, d’un calque ou d’une instruction de retouche fiable.

Enfin, aucune donnée détaillée n’est fournie sur le nombre de paramètres, les jeux de données employés, la diversité des images testées, le coût total d’entraînement ou les comparaisons avec les meilleurs générateurs existants. Ces indicateurs seront nécessaires pour mesurer la portée concrète de l’approche. Une démonstration convaincante ne suffit pas à établir qu’une technologie est meilleure dans tous les cas d’usage.

Des images aux robots et aux voitures autonomes

Les auteurs voient au-delà de la création visuelle. Saining Xie évoque notamment la possibilité d’appliquer des tokenizers à des actions de robots ou à l’optimisation de trajectoires pour des véhicules autonomes. Le raisonnement est le même : transformer une information complexe en une séquence compacte que le modèle peut manipuler plus efficacement.

Dans la robotique, les données ne sont pas seulement des images. Elles peuvent inclure des positions, des mouvements, des retours de capteurs et des actions à exécuter. Dans un véhicule autonome, une trajectoire doit tenir compte de contraintes de sécurité et d’un environnement évolutif. Représenter ces données avec des tokens pourrait aider un système à les traiter, mais cela ne remplace ni les capteurs, ni les mécanismes de décision, ni les exigences de sûreté.

Il s’agit donc d’une piste de recherche, et non d’une annonce de déploiement dans des robots ou des voitures. Son intérêt tient à une idée générale : si la tokenisation unidimensionnelle parvient à préserver les informations pertinentes d’un domaine, elle pourrait alléger la manière dont les modèles apprennent et planifient. La question sera de savoir quelles informations peuvent être compressées sans compromettre la qualité de la décision.

Ce qu’il faut surveiller

À la date de publication de cet article, le 22 juillet 2025, plusieurs éléments détermineront si cette approche franchit le cap du laboratoire. Le premier sera la qualité des images à différentes définitions, notamment la restitution des détails et la cohérence des retouches locales. Le deuxième sera la contrôlabilité : il faudra démontrer que les modifications de tokens correspondent à des effets réguliers et utilisables par une personne non spécialiste.

Le troisième critère concerne les ressources. Une réduction du nombre de tokens peut diminuer une partie du calcul, mais le bilan complet doit inclure l’entraînement du tokenizer, le fonctionnement du détokeniseur et les outils utilisés pour guider l’image à partir d’un texte. Des mesures transparentes permettront de savoir si le gain est réel face aux modèles établis.

Enfin, les applications de création d’images resteront confrontées aux questions communes à tout le secteur : provenance des données d’entraînement, respect des droits sur les contenus, information du public lorsqu’une image est synthétique et lutte contre les usages trompeurs. Une architecture plus légère peut rendre la technologie plus accessible. Elle devra aussi s’accompagner de garde-fous à la hauteur de cette accessibilité.