IA et déficience visuelle : des outils pour décrire le monde en temps réel

Pour une personne malvoyante ou aveugle, une affiche non lue, un objet égaré sur une table ou l’agencement d’un lieu inconnu peuvent constituer autant de barrières dans la vie quotidienne. Des logiciels fondés sur l’intelligence artificielle proposent de convertir une partie de ces informations visuelles en descriptions sonores. L’ambition est simple à formuler, mais exigeante à réaliser : produire l’information utile, assez vite, dans un langage compréhensible et au bon moment.

Au 11 octobre 2024, plusieurs applications, lunettes et projets de recherche explorent cette voie. Parmi eux figure WorldScribe, un outil conçu par des chercheurs de l’Université du Michigan et présenté lors du Symposium ACM 2024. Il s’inscrit dans un écosystème plus large, où les smartphones, les caméras portées sur soi et l’audio spatial peuvent aider à mieux appréhender un environnement.

Décrire le monde plutôt que reconnaître un seul objet

L’assistance numérique destinée aux personnes déficientes visuelles ne se limite pas à annoncer qu’une image contient une chaise, une porte ou une personne. Dans un usage réel, l’enjeu est souvent de fournir du contexte : savoir si une porte semble se trouver devant soi, repérer un panneau, distinguer un produit d’un autre, retrouver un objet familier ou comprendre l’organisation générale d’une scène.

C’est cette promesse de description de l’environnement qui distingue les outils récents de simples catalogues d’objets. Une information n’a de valeur que si elle répond au besoin immédiat de l’utilisateur. Une longue liste d’éléments présents dans une pièce peut ainsi être moins utile qu’une indication concise sur l’objet recherché ou sur un obstacle potentiel.

L’intelligence artificielle intervient pour interpréter les données issues d’une caméra. Selon les fonctions proposées, elle peut notamment servir à :

• reconnaître du texte, par exemple sur une étiquette ou un document ;
• identifier certains objets ou éléments d’une scène ;
• générer une description en langage naturel ;
• transmettre le résultat par synthèse vocale, haut-parleur ou écouteurs.

Cette chaîne donne accès à une représentation verbale de ce qui est filmé. Elle ne restitue toutefois pas une vision humaine complète. Une caméra ne cadre qu’une portion du monde, et l’algorithme peut manquer un détail, mal interpréter une scène encombrée ou se montrer moins fiable lorsque l’éclairage est difficile.

De l’image à la description audio : la chaîne technique

Le principe général de ces outils est accessible. Une caméra de smartphone, de lunettes ou d’un appareil portable capture une image, voire une succession d’images. Un logiciel l’analyse, puis restitue une information sous une forme audible. Cette dernière étape est essentielle : une réponse techniquement correcte, mais trop longue, trop vague ou trop tardive, peut s’avérer peu utile.

Les systèmes reposent sur plusieurs briques complémentaires. La vision par ordinateur cherche des formes, du texte ou des objets dans l’image. Des modèles de langage peuvent ensuite mettre les résultats en phrase. Enfin, l’interface doit permettre à l’utilisateur de déclencher une analyse, de poser une question ou de régler le niveau de détail sans avoir à naviguer dans des menus complexes.

Le traitement peut être effectué directement sur l’appareil, à distance via une connexion Internet, ou selon une approche mixte. Le choix a des conséquences pratiques : traitement local et confidentialité peuvent aller de pair, tandis qu’un traitement distant peut permettre des capacités plus importantes, mais dépend de la qualité du réseau. Les fonctionnalités et cette répartition technique varient d’un produit à l’autre.

La restitution sonore doit elle aussi être pensée avec soin. Une description vocale peut couvrir les bruits environnants, pourtant précieux pour se déplacer en sécurité. C’est pourquoi la possibilité de régler le volume, le débit de parole, la fréquence des annonces et le niveau de précision est déterminante dans une situation concrète.

WorldScribe, un projet de l’Université du Michigan

Le projet WorldScribe illustre cette recherche d’une description contextuelle de l’environnement. Développé par des chercheurs de l’Université du Michigan, il utilise des capacités d’intelligence artificielle pour décrire ce qui entoure son utilisateur en temps réel. Sa présentation au Symposium ACM 2024 le place dans le champ de la recherche sur les interactions entre humains et informatique, ainsi que sur l’accessibilité.

L’intérêt d’un tel outil réside dans le passage de l’image brute à une information formulée. Il ne s’agit pas uniquement de détecter un élément isolé, mais de rendre une situation davantage interprétable pour la personne qui l’explore. Dans un espace public, à domicile ou dans un lieu inconnu, cette capacité peut aider à obtenir une première compréhension des alentours.

Les informations disponibles sur le projet dans la publication d’origine ne détaillent ni son architecture technique précise, ni ses performances chiffrées, ni les conditions exactes de son déploiement. Il faut donc éviter de lui attribuer des fonctions, une disponibilité commerciale ou une fiabilité qui ne seraient pas établies. Son apport documenté est de démontrer la place que peut prendre l’IA dans la description immédiate de l’environnement pour les personnes ayant une déficience visuelle.

Applications, lunettes et audio spatial : des approches complémentaires

WorldScribe n’est pas le seul exemple cité dans ce domaine. Seeing AI, proposé par Microsoft, fournit des informations visuelles instantanées afin d’aider les personnes malvoyantes à mieux comprendre ce qui les entoure. L’application s’inscrit dans une logique d’assistance mobile, où le téléphone devient à la fois caméra, interface et lecteur vocal.

La publication d’origine évoque également les lunettes associées à la startup néerlandaise Envision et à Google. L’intérêt d’un dispositif porté sur le visage est de libérer les mains et d’orienter naturellement la caméra dans la direction du regard. Cette ergonomie peut être pertinente dans certaines situations, tout en soulevant des questions de coût, d’autonomie de batterie, de confort et d’acceptation dans l’espace public.

En France, Oorion développe une application qui emploie l’IA pour décrire l’environnement immédiat. L’objectif est là encore de proposer une aide intuitive, susceptible de favoriser l’accès aux espaces et aux services du quotidien.

Enfin, toutes les aides ne reposent pas sur une description parlée d’images. Soundscape est cité pour son usage d’indications audio en trois dimensions. L’audio spatial cherche à faire percevoir une direction ou une position par le son, ce qui peut compléter les informations visuelles converties en parole.

Le projet Third Eye témoigne d’une autre piste : l’intégration d’intelligence artificielle dans un appareil reposant notamment sur un Raspberry Pi. Ce petit ordinateur monocarte permet de concevoir des dispositifs compacts. La miniaturisation du matériel rend possible l’expérimentation d’aides portables, mais elle ne résout pas à elle seule les enjeux de précision, de consommation électrique et de simplicité d’usage.

La description vocale et l’audio spatial ne répondent pas au même besoin

La parole répond particulièrement bien à une demande précise : « Qu’y a-t-il devant moi ? », « Quel est ce texte ? » ou « Où se trouve l’objet que je cherche ? ». Elle permet aussi de livrer des détails. Mais dans un environnement animé, un flux de phrases peut devenir envahissant, surtout si l’utilisateur doit rester attentif aux sons de la rue, aux annonces ou à une conversation.

L’audio spatial suit une autre logique. Plutôt que de tout raconter, il cherche à positionner une information sonore dans l’espace perçu par l’utilisateur. Cette approche peut contribuer à donner des repères directionnels. Elle demande toutefois un réglage adapté, une bonne compréhension des signaux sonores et des conditions d’écoute qui ne masquent pas les informations importantes de l’environnement.

Dans les faits, ces deux méthodes ont vocation à se compléter. Une personne peut avoir besoin d’une consigne spatiale lors d’un déplacement, puis d’une description plus détaillée pour lire une indication ou identifier un objet. Le choix dépend de la situation, du degré de déficience visuelle, des habitudes de mobilité et des préférences de chacun.

L’autonomie dépend aussi de la fiabilité et de l’accessibilité

Ces outils peuvent élargir l’autonomie en réduisant le nombre de situations où il faut demander une information visuelle à un proche ou à un passant. Retrouver un objet, identifier un document ou se faire une idée d’un endroit sont autant de tâches pour lesquelles une réponse vocale peut apporter un soutien concret.

Il serait cependant trompeur de présenter l’IA comme un substitut complet aux autres moyens de compensation. Une erreur de description, une caméra mal orientée, un contre-jour ou un obstacle hors champ peuvent induire l’utilisateur en erreur. Dans le cadre d’un déplacement, une application ne doit pas conduire à négliger les méthodes d’orientation et de mobilité, les aides techniques déjà utilisées ou l’attention portée au contexte.

La qualité d’une solution se mesure donc à bien plus qu’à la sophistication de son algorithme. Plusieurs critères comptent au quotidien :

• la rapidité et la clarté des réponses ;
• la capacité à fonctionner dans des conditions variées ;
• l’accessibilité de l’interface elle-même, notamment avec un lecteur d’écran ;
• le contrôle laissé à l’utilisateur sur les annonces et les données ;
• le coût du téléphone, des accessoires ou de l’abonnement éventuellement nécessaire.

Inclusion, vie privée et accompagnement humain

La caméra qui permet de décrire un environnement peut aussi capter des visages, des documents, des intérieurs ou des personnes qui n’ont pas choisi d’être filmées. La question de la vie privée doit donc faire partie de la conception de ces services. L’utilisateur doit pouvoir savoir si les données sont traitées sur son appareil ou transmises à un service distant, et garder la maîtrise de ce qu’il choisit d’analyser.

L’inclusion ne se résume pas non plus à l’ajout d’une couche d’IA sur un smartphone. Des trottoirs praticables, une signalétique lisible, des sites Internet accessibles, des transports adaptés et des personnels formés restent indispensables. La technologie peut compenser certaines difficultés, mais elle ne doit pas servir à reporter sur les seules personnes concernées la responsabilité de s’adapter à des environnements mal conçus.

Cette idée est soulignée dans la publication d’origine par Jérôme Plante, qui est non-voyant : l’IA doit être considérée comme un ingrédient parmi d’autres, et non comme le remplacement des efforts humains nécessaires à l’inclusion. Cette nuance est centrale. Les solutions numériques sont d’autant plus utiles qu’elles s’intègrent à une démarche plus large d’accessibilité universelle.

Ce qu’il faut surveiller

Les prochaines évolutions dépendront autant des progrès des modèles d’IA que de leur intégration concrète dans les usages. Des descriptions plus pertinentes, des réponses mieux adaptées aux questions de l’utilisateur et des appareils plus légers peuvent améliorer l’expérience. Mais ces avancées devront être confrontées à des tests en conditions réelles, avec les personnes malvoyantes et aveugles elles-mêmes.

Pour les développeurs, l’enjeu est de concevoir des outils qui n’imposent pas leur rythme ni leurs choix de vocabulaire. Pour les pouvoirs publics, les entreprises et les lieux accueillant du public, l’enjeu demeure plus large : garantir l’accessibilité sans présumer qu’une application réparera toutes les barrières. L’IA ouvre une voie prometteuse pour décrire le monde, mais l’autonomie se construit aussi par la fiabilité, le choix et l’inclusion effective.