LegoGPT transforme une description en construction LEGO stable grâce à l’IA

Imaginer une construction en briques à partir d’une simple phrase est une chose. Obtenir un modèle qui ne s’effondre pas dès que l’on tente de le monter en est une autre. C’est précisément l’écart que veut réduire LegoGPT, un travail de recherche présenté en mai 2025 par une équipe d’ingénieurs de l’Université Carnegie Mellon. Son ambition : faire produire à une intelligence artificielle des constructions inspirées d’une consigne textuelle, tout en tenant compte des contraintes très concrètes de la gravité et de l’assemblage.

Le projet apparaît parfois sous le nom de « Legopte » dans certains intitulés. La dénomination employée pour le système dans les travaux de recherche est toutefois LegoGPT. Derrière ce nom se trouve moins un générateur d’images qu’un outil de conception : il ne s’agit pas seulement de représenter un objet fait de briques, mais de proposer une structure dont les éléments peuvent tenir ensemble dans le monde physique.

Un modèle de langage appliqué aux briques

LegoGPT part d’un principe désormais familier avec les assistants conversationnels : un modèle de langage prédit la suite la plus plausible d’une séquence. Dans un texte, cette suite est constituée de mots ou de fragments de mots. Pour ce projet, les chercheurs ont transposé cette logique à la construction : le système doit déterminer quelle brique ajouter ensuite afin de répondre à la description fournie.

La base technique est LLaMA-3.2-1B-Instruct, un modèle de langage développé par Meta. L’enjeu n’était pas de lui demander de rédiger des instructions de montage en langage naturel, mais de l’adapter à une nouvelle forme de prédiction. À chaque étape, l’IA propose un ajout à la construction en cours, puis poursuit sa génération brique après brique.

Cette approche permet de relier une intention créative, formulée en texte, à une succession de décisions de construction. Mais elle soulève immédiatement un problème : un modèle qui choisit des briques uniquement parce qu’elles correspondent bien à une description peut créer une forme reconnaissable, tout en produisant un objet instable, mal connecté ou irréalisable.

Pourquoi la stabilité est-elle le principal défi ?

Les outils d’IA générative appliqués à la 3D sont souvent évalués sur l’apparence de leurs résultats. Or une belle silhouette ne garantit pas qu’un objet puisse être fabriqué. Une pièce peut sembler reliée à une autre alors qu’elle ne l’est que visuellement. Un élément placé en hauteur peut manquer de support. Une base trop étroite peut rendre l’ensemble vulnérable au basculement.

Avec des briques LEGO, ces problèmes prennent une dimension particulièrement tangible. Le matériau, la gravité et les modes d’emboîtement imposent des règles précises. Une construction utilisable doit conserver son équilibre et ses connexions lorsque l’on passe de la représentation numérique à l’objet assemblé.

LegoGPT a donc été conçu pour ne pas traiter la faisabilité comme une vérification facultative menée à la fin. La stabilité intervient directement pendant la génération. Cette différence est déterminante : au lieu de corriger après coup une structure déjà complexe, le système évite, autant que possible, de poursuivre une piste qui mène à une impasse physique.

Comment LegoGPT vérifie-t-il chaque ajout de brique ?

Le fonctionnement décrit par l’équipe repose sur un processus récursif. L’IA ajoute une brique à son modèle, puis un module mathématique distinct évalue si cet ajout compromet la stabilité de l’ensemble. Si la réponse est négative, la brique est retirée et le système explore une autre possibilité.

Autrement dit, LegoGPT ne se contente pas de dire : « cette forme ressemble à ce qui a été demandé ». Il doit aussi satisfaire une contrainte supplémentaire : « cette nouvelle pièce ne doit pas déséquilibrer ce qui existe déjà ». Les prédictions du modèle de langage sont ainsi encadrées par une couche de contrôle physique.

Cette combinaison entre génération et vérification répond à une difficulté classique de l’IA : un système peut être très performant pour produire une réponse plausible sans disposer, à lui seul, d’une compréhension fiable des conséquences matérielles de cette réponse. Le module de stabilité sert ici de garde-fou. Il ne remplace pas le modèle de langage, mais l’empêche de retenir des choix de construction qui ne résisteraient pas au passage au réel.

La méthode présente également un intérêt plus général pour la conception assistée par IA. Dans de nombreux domaines, la créativité automatique doit être conciliée avec des contraintes non négociables : solidité d’une pièce, limites d’un procédé de fabrication, sécurité d’un mécanisme ou compatibilité entre composants. Les briques LEGO offrent un terrain d’expérimentation accessible pour étudier cette articulation entre imagination et règles physiques.

Un apprentissage à partir de 47 000 constructions stables

Pour entraîner le système, les chercheurs ont constitué un ensemble de données de 47 000 structures LEGO stables. Chaque structure était accompagnée de caractéristiques et de légendes produites par un autre système d’intelligence artificielle. Ces descriptions établissent le pont entre la manière dont une personne formule une idée et la manière dont l’ordinateur représente une construction.

Cette phase d’entraînement est essentielle. Sans exemples de modèles déjà stables, un modèle de langage pourrait apprendre à associer des mots à des formes, mais il disposerait de peu de repères sur ce qui rend une construction viable. Le jeu de données fournit donc à LegoGPT des exemples de combinaisons qui ont déjà satisfait les contraintes de stabilité retenues par les chercheurs.

Il faut toutefois bien comprendre ce que signifie cet apprentissage. LegoGPT ne récupère pas simplement un modèle identique dans une bibliothèque pour le recracher à l’identique. Le système génère une séquence de briques en réponse à une demande textuelle, en s’appuyant sur les régularités apprises dans les données et sur le mécanisme de vérification qui accompagne chaque étape.

Des tests numériques, manuels et robotisés

Les résultats d’un générateur de modèles ne peuvent pas être évalués uniquement à l’écran. L’équipe de Carnegie Mellon a donc utilisé des robots programmables pour assembler des constructions produites par LegoGPT. Elle a également testé la réalisation de modèles à la main. Ces deux formes de validation visent à vérifier qu’une construction considérée comme stable par le système peut effectivement prendre forme avec de vraies briques.

Selon les résultats rapportés, l’approche atteint jusqu’à 98,8 % de structures en équilibre. Les chercheurs indiquent aussi qu’elle surpasse d’autres systèmes d’IA consacrés à la création d’objets en 3D sur ce critère de stabilité.

Ce taux doit être lu pour ce qu’il est : un résultat obtenu dans les évaluations menées dans le cadre du projet, avec les données, les règles de construction et les protocoles retenus par l’équipe. Il ne constitue pas une promesse qu’une construction issue de toute description imaginable sera toujours parfaite du premier coup. Il montre néanmoins que l’intégration d’un contrôle physique au cours de la génération améliore fortement la fiabilité des propositions.

Ce que LegoGPT change par rapport à un générateur 3D classique

La particularité de LegoGPT n’est pas seulement d’utiliser du texte comme point de départ. De nombreux systèmes génératifs savent déjà convertir une consigne écrite en image ou en représentation tridimensionnelle. La différence tient à l’objectif : ici, le résultat doit franchir l’étape qui sépare l’objet numérique de l’objet constructible.

Un générateur 3D traditionnel peut privilégier les proportions, les détails ou l’aspect général. LegoGPT doit composer avec ces intentions tout en respectant la logique d’un système d’assemblage discret : les éléments sont des briques, ils s’imbriquent selon des positions définies et leur accumulation crée des contraintes mécaniques.

Cette approche peut intéresser plusieurs publics. Dans l’éducation, elle offre un moyen concret d’aborder la relation entre une idée, une représentation et les conséquences physiques d’un choix de conception. Dans le design et l’ingénierie, elle illustre une piste pour les outils capables de proposer des solutions tout en contrôlant des règles de validité. Pour les amateurs de construction, elle suggère surtout une façon nouvelle de passer d’une idée formulée en quelques mots à un point de départ plus fiable.

Le projet ne permet pas pour autant d’affirmer qu’un produit grand public, directement utilisable par tous, est disponible en mai 2025. Les informations présentées portent sur un système de recherche et sur ses résultats expérimentaux. Elles ne détaillent ni une commercialisation, ni les conditions d’accès à une application destinée au public.

Les limites à garder en tête

La performance de LegoGPT dépend du cadre dans lequel il a été entraîné et évalué. Les constructions sont générées à partir d’un corpus de structures stables, avec un mécanisme de contrôle intégré. Comme dans tout travail d’IA, la qualité du résultat dépend à la fois de la formulation de la demande, des exemples d’apprentissage et des règles appliquées lors de la génération.

La stabilité n’épuise pas non plus toutes les questions pratiques. Une construction peut être équilibrée tout en restant plus ou moins facile à monter, plus ou moins fidèle à l’idée initiale, ou plus ou moins adaptée aux briques réellement disponibles chez un utilisateur. Les travaux présentés mettent l’accent sur la viabilité physique des modèles, pas sur un service complet de planification d’achat ou d’optimisation de l’inventaire personnel.

Enfin, les modèles de langage sont conçus pour produire des suites probables. Leur intervention ne supprime pas la nécessité d’un contrôle externe lorsque le résultat doit respecter des contraintes matérielles. LegoGPT est précisément intéressant parce qu’il reconnaît cette limite : la génération créative est associée à un mécanisme capable d’écarter les choix physiquement problématiques.

Ce qu’il faut surveiller

LegoGPT ouvre une piste de recherche plus large que la seule construction de maquettes. La question centrale est celle des IA capables de concevoir tout en respectant des contraintes du monde réel. À l’avenir, l’enjeu sera de voir si cette logique peut être étendue à davantage de types de pièces, de formes et de consignes, tout en conservant une validation fiable.

Il faudra aussi observer la manière dont les chercheurs mesureront les compromis entre créativité et contraintes. Un système très prudent peut produire des constructions solides mais peu variées. À l’inverse, un système trop libre peut imaginer des formes originales mais difficiles à assembler. Le résultat de 98,8 % rapporté par l’équipe indique qu’un équilibre est possible dans le cadre étudié. La prochaine étape consistera à déterminer jusqu’où ce principe peut aller lorsque les demandes, les matériaux et les environnements de fabrication deviennent plus complexes.