A11yShape rend la modélisation 3D plus accessible aux développeurs aveugles

La création d’un objet en trois dimensions est généralement pensée pour les yeux : on fait pivoter une forme à l’écran, on vérifie ses proportions, on repère une pièce mal placée et on la déplace avec une souris. Pour un programmeur aveugle ou malvoyant, cette logique visuelle ne rend pas seulement l’exercice moins confortable. Elle peut fermer l’accès à des outils créatifs, techniques et professionnels entiers. Avec A11yShape, une équipe de recherche interuniversitaire propose de déplacer une partie essentielle de cette expérience vers le code et le langage naturel.

Présenté dans une prépublication déposée sur arXiv, ce prototype ne prétend pas remplacer la maîtrise de la modélisation 3D. Il cherche plutôt à rendre cette maîtrise possible sans dépendre exclusivement d’une interface graphique. Son principe est de combiner OpenSCAD, un environnement où les formes sont créées par programmation, avec GPT-4o, le modèle de langage d’OpenAI. L’outil produit des descriptions des objets et relie le code, les vues du modèle et les explications textuelles.

L’enjeu dépasse le seul confort d’usage. La 3D intervient dans le développement de jeux vidéo, le prototypage d’objets, l’impression 3D, l’architecture, l’enseignement ou encore la visualisation de données. Donner aux personnes concernées les moyens de construire, d’examiner et de corriger des formes peut donc élargir concrètement leurs possibilités de création et de travail.

Pourquoi les logiciels de 3D restent difficiles d’accès

Les logiciels de conception assistée par ordinateur et de modélisation 3D classiques reposent le plus souvent sur une toile graphique. L’utilisateur y sélectionne un objet, le fait tourner, change l’angle de la caméra, modifie une dimension ou aligne plusieurs pièces en observant immédiatement le résultat. Les raccourcis clavier et les lecteurs d’écran peuvent aider à parcourir certains menus, mais ils ne suffisent pas toujours à répondre à une question centrale : à quoi ressemble réellement l’objet créé, et comment ses éléments sont-ils disposés dans l’espace ?

La difficulté est particulièrement forte lorsque plusieurs volumes se chevauchent ou s’imbriquent. Un cylindre placé trop haut, un trou décalé de quelques unités, une roue qui ne touche pas le châssis d’un robot : ces erreurs sont souvent repérées d’un coup d’œil. Sans représentation accessible de la géométrie, le programmeur peut écrire un code parfaitement valide sans pouvoir évaluer facilement le résultat spatial.

OpenSCAD offre déjà un point de départ différent. Au lieu de dessiner directement des formes à la souris, on les définit par des instructions. Un cube, un cylindre, une sphère, une rotation ou une translation peuvent être décrits avec des paramètres numériques. Cette approche convient naturellement aux personnes qui programment, car chaque composant possède une représentation textuelle.

Mais le code seul ne règle pas tout. À mesure que le modèle s’enrichit, il devient difficile de se représenter mentalement le résultat de toutes les opérations géométriques. C’est précisément dans cet écart entre les instructions et la forme finale qu’A11yShape veut intervenir.

A11yShape, une passerelle entre code, forme et langage

A11yShape a été développé par un groupe de recherche réunissant notamment des spécialistes de l’ingénierie électrique et de l’informatique. L’équipe compte Anhong Guo, professeur à l’Université du Michigan, ainsi que des chercheurs de l’Université du Texas à Dallas, de l’Université de Washington, de l’Université Purdue et d’institutions partenaires. Elle comprend également Gene S-H Kim, membre de la communauté malvoyante. Cette présence est importante : dans un domaine où les besoins d’accessibilité sont souvent définis après coup, elle contribue à les intégrer dès la conception.

Le système repose sur deux briques complémentaires : OpenSCAD pour construire le modèle et GPT-4o pour l’assistance en langage naturel. A11yShape génère des rendus du modèle sous plusieurs angles et fournit des explications décrivant les éléments présents, leur taille et leur position. L’objectif n’est pas de demander à l’utilisateur de déduire seul la géométrie à partir d’une longue suite de lignes de code, mais de lui donner plusieurs manières cohérentes de l’explorer.

La fonction la plus distinctive est ce que les chercheurs appellent le « surlignage de représentation croisée ». Lorsqu’un utilisateur sélectionne un élément dans l’une des représentations du modèle, les parties correspondantes sont mises en évidence dans les autres. Une sélection effectuée dans la structure du modèle peut ainsi renvoyer au code associé et à la description concernée.

Cette correspondance est essentielle. Dans un programme de plusieurs dizaines ou centaines de lignes, savoir qu’un objet est présent ne suffit pas. Il faut identifier la portion de code qui le produit, comprendre son rôle et vérifier ses liens avec les autres pièces. A11yShape cherche à réduire le temps nécessaire pour naviguer entre ces niveaux d’information.

Comment un programmeur peut-il créer un objet avec l’outil ?

Le fonctionnement décrit par l’équipe ne retire pas la programmation de l’équation. Il l’accompagne. L’utilisateur peut écrire ses propres instructions OpenSCAD pour définir un objet, demander à l’IA de l’aider à produire un modèle initial, puis l’examiner à l’aide des descriptions et des correspondances entre les représentations.

Prenons un objet composé de plusieurs éléments, comme un petit robot. Le code peut définir séparément un corps, des roues, une tête et d’autres composants. A11yShape est conçu pour aider l’utilisateur à déterminer quels éléments sont présents, où ils se trouvent, quelles dimensions ils possèdent et quel bloc de code les contrôle. Si une roue semble mal positionnée dans la description ou dans le rendu, le programmeur peut remonter à l’instruction correspondante, modifier une valeur, puis vérifier le résultat.

Cette logique conserve un avantage important du code : les modifications sont traçables. Une même forme peut être reproduite, ajustée avec précision et versionnée. Les participants à l’étude ont d’ailleurs utilisé les fonctions de contrôle de version pour corriger des erreurs de positionnement.

Une étude auprès de quatre programmeurs débutants en 3D

Pour évaluer le prototype, les chercheurs ont organisé une étude multi-session avec quatre programmeurs aveugles ou malvoyants. Aucun n’avait auparavant d’expérience en modélisation 3D. Après une formation initiale, chacun a utilisé A11yShape pour réaliser 12 modèles variés. Parmi eux figuraient notamment un Tanghulu, des robots et des hélicoptères.

Le nombre de participants est réduit, ce qui est fréquent dans les premières études d’interaction humain-machine menées avec des publics aux besoins spécifiques. Il ne permet donc pas, à lui seul, de conclure qu’A11yShape conviendrait à tous les utilisateurs ni à tous les projets de 3D. En revanche, il apporte un premier signal : des personnes novices ont pu mener à bien des tâches de modélisation guidées et libres avec le prototype.

Les participants ont donné un score moyen de 80,6 sur 100 à la System Usability Scale, ou SUS. Cette échelle standardisée repose sur dix questions et sert à recueillir une appréciation globale de l’utilisabilité d’un système. Un tel score constitue un résultat encourageant pour un outil encore en phase de recherche, mais ne remplace pas des tests auprès d’un nombre plus important de personnes, dans des situations plus diverses et sur des projets plus ambitieux.

L’un des participants a résumé l’expérience ainsi : « Je n’avais jamais modélisé auparavant et je n’aurais jamais pensé que je pourrais le faire. » Cette réaction met en lumière le principal apport potentiel du système. L’accessibilité ne consiste pas seulement à adapter une interface existante. Elle peut permettre de rendre praticable une activité que des utilisateurs avaient jusque-là écartée comme inaccessible.

L’IA n’efface pas les difficultés de perception spatiale

Les retours des utilisateurs montrent que l’outil ne crée pas une expérience unique. Certains ont préféré écrire eux-mêmes le code, tandis que d’autres se sont davantage appuyés sur l’IA pour générer une première version du modèle. Cette diversité est instructive : une solution accessible doit permettre plusieurs stratégies, plutôt que d’imposer un usage uniforme de l’assistant automatique.

Les chercheurs relèvent aussi des limites précises. Les descriptions textuelles peuvent être trop longues ou trop chargées, ce qui augmente la charge cognitive. Un texte exhaustif n’est pas forcément un texte utile : lorsqu’il faut mémoriser de nombreuses dimensions et relations spatiales, l’information risque de devenir difficile à manipuler mentalement.

L’autre défi concerne l’évaluation fine des relations dans l’espace. Savoir qu’un cylindre est positionné à un certain endroit ne procure pas nécessairement une perception intuitive de son orientation, de sa distance exacte avec une autre pièce ou de son insertion dans une forme plus vaste. La 3D fait appel à des notions de profondeur, de perspective, de proportion et de contact entre les volumes qui restent complexes à transmettre uniquement par le texte.

Il serait donc imprudent de présenter A11yShape comme une solution achevée à toutes les barrières rencontrées dans la création 3D. Le prototype montre plutôt qu’un assemblage de code, de descriptions générées par IA, de rendus et de liens entre représentations peut rendre le processus beaucoup plus abordable. Il donne aussi des indications concrètes sur les améliorations à prioriser.

Quelles évolutions les chercheurs envisagent-ils ?

L’équipe prévoit notamment de travailler sur des descriptions plus concises. L’enjeu consiste à fournir l’information nécessaire au bon moment, sans noyer l’utilisateur sous les détails. Selon la tâche, une personne peut avoir besoin d’un résumé de la structure globale, d’une description d’un élément sélectionné ou d’une explication très précise d’une relation spatiale. Ces niveaux de détail ne doivent pas nécessairement être présentés simultanément.

Les chercheurs mentionnent également l’intégration de fonctions de complétion automatique du code. Dans OpenSCAD, une assistance capable de proposer une instruction ou de compléter une structure pourrait réduire les erreurs de syntaxe et accélérer la construction des formes. Là encore, l’utilité dépendra de la capacité de l’outil à rester compréhensible et contrôlable par son utilisateur.

Enfin, l’équipe évoque des retours physiques, avec des affichages tactiles ou l’impression 3D. Ces pistes sont particulièrement intéressantes pour la perception des volumes. Un objet imprimé peut offrir une manière directe de vérifier une forme, ses reliefs ou l’agencement de certains composants. Elles soulèvent toutefois des questions pratiques de coût, de délai et de précision, que le prototype présenté ne prétend pas encore résoudre.

Aucune date de disponibilité générale d’A11yShape n’a été annoncée. À ce stade, il s’agit d’un travail de recherche en phase de test. Son intérêt tient autant à l’outil lui-même qu’à la méthode proposée : penser l’accessibilité dès la représentation de l’information, au lieu de tenter d’adapter a posteriori des interfaces pensées uniquement pour la vision.

Ce qu’il faut surveiller

Les prochaines étapes permettront de savoir si A11yShape peut dépasser le stade du prototype. Il faudra notamment observer la qualité des descriptions sur des modèles plus complexes, l’efficacité de la complétion de code envisagée et la manière dont le système s’adapte à des préférences très différentes entre utilisateurs. Des études plus larges seront aussi nécessaires pour mesurer la robustesse de l’approche au-delà de quatre participants.

Le projet pose une question plus large aux concepteurs de logiciels créatifs : une interface doit-elle forcément reposer sur une représentation visuelle pour être efficace ? Dans la 3D comme dans d’autres domaines, l’intelligence artificielle peut aider à traduire une information d’un format vers un autre. Mais sa valeur dépendra de la précision de ces traductions, de la possibilité de vérifier les résultats et de la place laissée au contrôle humain.

Pour Liang He, membre de l’équipe, l’ambition est d’ouvrir de nouvelles voies créatives à la communauté aveugle et malvoyante. Si les promesses du prototype se confirment, A11yShape pourrait surtout servir de référence à d’autres équipes : non pas comme un modèle unique, mais comme la démonstration qu’une activité réputée très visuelle peut être repensée autour du code, du langage et, demain peut-être, du toucher.