OAK, une IA qui réinterprète les images selon la tâche à accomplir

Une image ne porte pas une seule signification. Une paire de chaussures peut être un produit à vendre, un élément d’une tenue, un objet à ranger ou l’indice d’une activité sportive. Pourtant, les systèmes classiques de reconnaissance d’images ont longtemps été conçus pour attribuer des étiquettes stables, comme « chaussure », « sac » ou « personne ». Un travail de recherche associé à l’Université du Michigan propose de changer ce point de départ : au lieu de demander seulement ce qui figure dans une image, il s’agit de demander ce qui compte dans un contexte précis.

Baptisée Open Ad-hoc Categorization, ou OAK, cette méthode a été élaborée par une équipe de chercheurs de l’Université du Michigan, avec des contributions du Centre Bosch pour l’IA et d’autres institutions académiques. Son ambition est de rendre la catégorisation visuelle plus souple : un même contenu peut être interprété selon une consigne, un objectif ou une situation, tout en laissant au système la possibilité d’identifier des regroupements qui n’avaient pas été prévus à l’avance.

Pourquoi les catégories fixes ne suffisent-elles pas ?

La reconnaissance d’images traditionnelle part souvent d’un inventaire fermé. Le modèle apprend des exemples étiquetés et doit ensuite choisir la classe la plus appropriée parmi celles qu’il connaît déjà. Cette approche convient lorsqu’une question simple est posée, par exemple : « Y a-t-il un chien sur cette photo ? » Elle devient moins adaptée quand la demande dépend d’un objectif concret.

Prenons le cas d’un vide-grenier. Si l’on cherche les objets susceptibles d’être vendus, une image contenant des chaussures peut conduire à une catégorie plus large que les seules chaussures. Des casquettes, des bagages ou des sacs peuvent devenir pertinents, même s’ils ne se ressemblent pas nécessairement sur le plan visuel. Ce qui les rapproche est le contexte de vente, non une forme identique.

C’est cette capacité de regroupement circonstanciel que vise OAK. Le terme « ad-hoc » désigne ici des catégories formées pour un besoin donné. Elles ne sont pas nécessairement inscrites dans un catalogue universel et immuable. Le système doit donc concilier deux exigences : reconnaître ce qu’il sait déjà identifier, puis rester ouvert aux objets ou concepts qui prennent du sens dans la situation décrite.

OAK, une catégorisation visuelle guidée par le contexte

Le principe d’OAK consiste à détecter les interprétations possibles d’une image en fonction de plusieurs contextes. Au lieu d’associer une photo à une seule lecture, le modèle peut modifier son attention selon l’instruction reçue.

Cette différence est importante. Dans une classification fixe, une personne tenant une tasse pourrait être décrite à partir d’objets visibles, comme une personne et une tasse. Avec une approche contextuelle, l’interprétation peut mettre l’accent sur une action, une scène de consommation ou un ensemble d’articles, selon la question posée. L’image ne change pas, mais la manière utile de l’organiser en catégories, elle, évolue.

Cette souplesse ne signifie pas que l’IA comprend le monde comme un humain. Elle traduit plutôt une consigne en critères de sélection visuelle et sémantique. Le système apprend ainsi quelles parties de l’image doivent être mises en avant pour répondre à un contexte donné, sans recevoir pour chaque cas une directive explicite indiquant précisément où regarder.

Comment OAK s’appuie sur CLIP et des tokens contextuels

Pour construire OAK, les chercheurs ont étendu CLIP, un modèle de vision et de langage. Ce type de système rapproche des images et des descriptions écrites dans un espace de représentation commun. En pratique, il peut apprendre qu’une image et une expression textuelle ont un lien, ce qui permet de comparer ce qui est vu à ce qui est demandé avec des mots.

L’équipe a ajouté à cette base des tokens contextuels. Dans les modèles d’IA, un token est une unité de représentation manipulée par le système. Ici, ces tokens servent à intégrer les éléments d’instruction qui précisent le cadre dans lequel l’image doit être interprétée. Ils permettent au modèle d’apprendre que l’importance d’un détail dépend de la demande formulée.

L’apprentissage mobilise à la fois des données étiquetées, dont la catégorie est déjà connue, et des données non étiquetées, qui ne sont pas accompagnées d’une réponse prête à l’emploi. Cette seconde famille de données est essentielle : elle donne au système la possibilité de repérer des structures visuelles sans dépendre entièrement d’exemples classés à la main.

Des zones pertinentes sans indication explicite

L’un des objectifs est d’amener le modèle à se concentrer sur les régions utiles d’une image pour le contexte considéré. Si la tâche porte sur les objets vendables lors d’un vide-grenier, il doit distinguer ce qui contribue à cette catégorie de ce qui est simplement présent dans le décor. Cette attention ciblée est apprise au cours de l’entraînement, plutôt que fournie sous la forme de repères explicites sur chaque image.

Le bénéfice attendu est double. D’une part, le système peut conserver la reconnaissance de concepts déjà connus. D’autre part, il peut adapter les caractéristiques visuelles qu’il privilégie lorsqu’un nouveau cadre d’analyse est introduit.

Comment le système découvre-t-il des catégories inédites ?

La découverte de nouvelles catégories est l’un des aspects les plus notables d’OAK. Pour y parvenir, la méthode associe deux mécanismes complémentaires : un guidage sémantique et une analyse des ressemblances visuelles au sein de données non étiquetées.

Le guidage sémantique part des associations présentes dans le langage. Lorsqu’un modèle repère le concept de chaussures dans un environnement de vente, les relations linguistiques peuvent l’amener à envisager des objets voisins dans ce même contexte, tels que des chapeaux ou des sacs. Il ne s’agit pas de les confondre avec des chaussures, mais de les proposer comme candidats potentiellement pertinents pour la catégorie recherchée.

En parallèle, le regroupement visuel, aussi appelé clustering, cherche des motifs récurrents dans les images non étiquetées. Des objets visuellement proches ou présentant des caractéristiques communes peuvent ainsi former des groupes. Cette approche part des données elles-mêmes, sans exiger que chaque catégorie ait été nommée avant l’entraînement.

La première méthode agit donc comme une orientation descendante, depuis le sens des mots vers les propositions visuelles. La seconde suit une logique ascendante, depuis les motifs observés dans les images vers des regroupements possibles. Leur combinaison permet à OAK de suggérer et de valider des catégories que le modèle n’avait pas reçues sous forme d’exemples explicites.

Quels résultats OAK a-t-il obtenus ?

Les chercheurs ont évalué leur système sur plusieurs jeux de données, dont Stanford et Clevr-4. Les résultats rapportés mettent en avant à la fois l’exactitude de la reconnaissance et la capacité du modèle à faire émerger des concepts nouveaux.

Sur le jeu de données Stanford consacré à l’identification des émotions, OAK a atteint un score de précision de 87,4 %. Ce résultat place la méthode devant des approches précédentes, notamment CLIP. Les évaluations citées indiquent également un avantage d’OAK dans la découverte de concepts sur les jeux de données testés.

Ces chiffres doivent être lus dans leur cadre expérimental. Un bon score sur un jeu de données mesure la réussite sur les tâches, les images et les protocoles retenus par les chercheurs. Il ne garantit pas, à lui seul, qu’un système se comportera avec la même fiabilité dans tous les environnements réels, où les consignes peuvent être ambiguës, les images incomplètes et les objets très variés.

Pourquoi la robotique pourrait en bénéficier

La robotique constitue l’une des applications envisagées pour cette approche. Un robot opérant dans un espace domestique, un entrepôt ou un lieu public ne doit pas toujours analyser une scène de la même façon. Selon sa mission, il peut devoir repérer ce qui doit être déplacé, ce qui est fragile, ce qui relève d’une zone donnée ou ce qui correspond à une demande particulière.

Dans ce type de situation, un inventaire rigide d’objets risque d’être insuffisant. La faculté de percevoir un environnement sous différents angles, en fonction de la tâche, pourrait rendre le comportement d’une machine plus adaptable. Plutôt que de repartir de zéro à chaque nouvelle consigne, elle pourrait mobiliser des connaissances acquises et les réorganiser autour d’un contexte.

Cette piste pourrait aussi intéresser des outils de recherche d’images ou de classement de contenus, lorsqu’il faut constituer des ensembles correspondant à un besoin spécifique. Toutefois, la valeur pratique d’un tel système dépendra de sa capacité à produire des catégories compréhensibles, à justifier les éléments retenus et à ne pas créer de regroupements incohérents lorsque le contexte est mal formulé.

Ce qu’il faut surveiller pour passer du laboratoire aux usages

OAK illustre une évolution importante de la vision par ordinateur : l’enjeu ne consiste plus seulement à reconnaître un objet isolé, mais à relier l’image à l’intention qui motive la recherche. Cette perspective rapproche les modèles visuels de situations où les humains changent spontanément de critère selon ce qu’ils veulent accomplir.

Plusieurs questions détermineront néanmoins l’intérêt de cette approche hors des bancs d’essai. La première concerne la robustesse face à des contextes nouveaux, ambigus ou contradictoires. La deuxième porte sur l’explicabilité : un utilisateur devra pouvoir comprendre pourquoi tel objet a été inclus dans une catégorie et tel autre écarté. La troisième concerne la qualité des données non étiquetées, car des régularités visuelles peuvent refléter des biais ou des associations trompeuses.

La recherche ouvre ainsi une voie prometteuse pour des IA moins enfermées dans des étiquettes fixes. Son apport central est de traiter la catégorisation comme une opération dépendante d’un objectif. Pour des systèmes appelés à évoluer dans des environnements changeants, cette capacité d’adaptation contextuelle pourrait devenir aussi importante que la reconnaissance des objets elle-même.