Une méthode du MIT pour aider l’IA à retrouver les objets personnalisés

Retrouver « le chien » dans une photo est une tâche relativement familière pour une IA moderne. Retrouver votre chien dans un parc rempli d’animaux semblables, après lui avoir montré quelques exemples, est une épreuve d’une tout autre nature. Il ne suffit plus de reconnaître une catégorie générale : le système doit repérer un individu ou un objet particulier au sein d’un environnement visuellement chargé.

C’est ce problème de localisation d’objets personnalisés que des chercheurs du MIT et du MIT-IBM Watson AI Lab cherchent à mieux résoudre. Leur méthode, dont le rapport doit être présenté à l’International Conference on Computer Vision 2025, à Honolulu, reformule la tâche comme un problème d’adaptation au contexte. L’idée est d’amener les modèles à s’appuyer sur les bons indices visuels, plutôt que sur des associations apprises de longue date.

Reconnaître une catégorie ne suffit pas à retrouver un objet précis

Les modèles de vision-langage, souvent désignés par l’acronyme anglais VLM, associent ce qu’ils voient dans une image et ce qu’ils comprennent du langage. Ils savent par exemple répondre qu’une photographie contient une voiture, un chat, un arbre ou un sac. Cette compétence repose sur l’entraînement sur de très grandes quantités d’images et de textes.

Mais une demande personnalisée change la nature du problème. Une personne peut vouloir retrouver son bulldog français parmi d’autres chiens, un sac à dos particulier dans une pièce, ou un article précis parmi de nombreux objets domestiques. L’IA doit alors distinguer un exemplaire donné d’autres éléments appartenant pourtant à la même catégorie.

La difficulté augmente encore lorsque l’objet apparaît sous des angles différents, dans une autre lumière, partiellement caché ou placé dans un décor encombré. Un modèle peut très bien savoir ce qu’est un bulldog français sans savoir quel bulldog français est celui recherché.

Cette distinction est importante : la reconnaissance générique répond à la question « qu’est-ce que c’est ? », tandis que la localisation personnalisée répond à « où se trouve exactement cet objet que l’on m’a montré ? ». La seconde exige de relier des exemples, des détails visuels et une nouvelle scène.

Pourquoi les modèles peuvent-ils s’appuyer sur de mauvais indices ?

Le principal obstacle identifié par les chercheurs est une forme de raccourci. Face à une consigne de localisation, un modèle peut mobiliser son immense stock de connaissances préalables au lieu d’examiner attentivement les indices qui lui sont fournis.

Prenons le cas d’un tigre. Si le système reçoit simplement le mot « tigre », il dispose déjà de nombreux repères associés à cet animal : rayures, silhouette, environnement habituel, photos rencontrées pendant son entraînement. Ces connaissances sont utiles pour reconnaître l’espèce. Elles le sont moins lorsqu’il faut retrouver un tigre bien déterminé à partir d’exemples visuels et le distinguer d’un autre.

Les chercheurs décrivent ce comportement comme une tendance à « tricher ». Il ne s’agit évidemment pas d’une intention du modèle, mais d’un mécanisme statistique : le système privilégie les corrélations les plus faciles à exploiter. Or, dans une tâche personnalisée, le bon raisonnement consiste précisément à comparer ce qui a été montré auparavant avec l’image à analyser.

Cette limite met en évidence un écart entre deux capacités : posséder des connaissances générales sur le monde et savoir utiliser un contexte spécifique pour identifier un objet particulier. Les VLM sont performants sur la première, mais peuvent perdre en fiabilité sur la seconde.

Le suivi vidéo comme matériau d’apprentissage contextuel

Pour réduire ce problème, l’équipe a constitué un nouvel ensemble de données à partir d’extraits vidéo préparés avec soin. Le principe est de suivre le même objet à travers plusieurs images. Les séquences le montrent dans des environnements ou des vues variés, ce qui oblige le modèle à chercher des éléments de continuité plutôt qu’à s’en remettre à une simple étiquette générale.

La vidéo apporte ici un avantage décisif sur une collection d’images sans lien entre elles. Dans une séquence, un objet conserve son identité alors que sa position, son arrière-plan ou son apparence apparente peuvent évoluer. Un animal peut se déplacer, être vu de face puis de profil, ou se mêler à d’autres animaux. Un sac peut passer d’un couloir à une pièce plus sombre. Ces changements forcent l’IA à apprendre quels détails sont vraiment pertinents.

La méthode vise donc à présenter la localisation personnalisée comme une tâche d’adaptation à partir d’exemples contextuels. Plutôt que de demander seulement « où est le chien ? », elle conduit le modèle à comprendre : « en tenant compte des exemples associés à cet objet précis, retrouve-le dans cette nouvelle image ».

Cette démarche ne transforme pas un modèle en outil infaillible capable d’identifier n’importe quel objet sans information préalable. Son intérêt est ailleurs : elle améliore sa capacité à tirer parti de références visuelles lorsqu’elles existent, avec un besoin réduit de refaire un entraînement lourd pour chaque cas d’usage.

Des noms fictifs pour empêcher les raccourcis

L’une des idées les plus simples de l’étude est aussi l’une des plus parlantes. Afin d’empêcher le modèle d’associer directement une classe d’objets à des connaissances déjà mémorisées, les chercheurs ont utilisé des pseudonymes dans leur jeu de données.

Ainsi, au lieu de désigner un animal par le terme courant « tigre », l’ensemble de données peut lui attribuer un nom fictif. Le modèle ne peut alors plus s’appuyer aussi facilement sur les associations apprises avec le mot réel. Pour réussir, il doit examiner les exemples et le contexte visuel disponibles.

Les pseudonymes ne rendent pas l’image plus facile à comprendre. Ils retirent au contraire une béquille linguistique. C’est précisément leur rôle : vérifier que le modèle ne donne pas une bonne réponse simplement parce qu’il reconnaît une étiquette familière, mais parce qu’il a réellement relié les images entre elles.

Les chiffres communiqués montrent que le choix de la formulation de la tâche compte autant que l’accumulation de données. Faire en sorte qu’un modèle regarde les bons indices peut améliorer sensiblement ses résultats, sans lui apprendre une nouvelle catégorie d’objets au sens classique.

Ce que signifient les gains de 12 % et 21 %

Les chercheurs indiquent une amélioration moyenne d’environ 12 % de l’efficacité de localisation après l’entraînement des VLM avec leur ensemble de données. Lorsque les pseudonymes sont ajoutés, le gain atteint 21 %. Pour une tâche aussi fine que l’identification d’un objet particulier, l’écart est notable : une erreur de localisation peut rendre un assistant visuel peu utile dans une situation concrète.

Il faut toutefois interpréter ces résultats avec précision. Ils portent sur les évaluations réalisées dans le cadre de la recherche, avec le jeu de données et les conditions définis par l’équipe. Ils ne signifient pas qu’un assistant grand public reconnaîtra dès aujourd’hui sans erreur tous les animaux de compagnie, vêtements, sacs ou objets ménagers dans n’importe quelle situation.

Le rapport résumé ne détaille pas, notamment, le nombre d’objets testés, la variété complète des scènes ni le comportement de la méthode face à des objets très similaires ou fortement masqués. Ces éléments seront essentiels pour apprécier la robustesse de l’approche hors du cadre expérimental.

Quelles applications sont envisagées ?

La localisation personnalisée pourrait rendre des outils d’IA plus utiles dans de nombreux contextes, à condition que leurs performances soient confirmées dans des usages réels. Les chercheurs mentionnent en particulier la surveillance écologique. Suivre un animal donné dans des images ou des vidéos pourrait aider à analyser des observations sans confondre systématiquement les individus ou les objets d’intérêt.

Les technologies d’assistance pour les personnes malvoyantes constituent un autre terrain d’application. Un système capable de recevoir quelques références d’un objet personnel pourrait, en théorie, aider à retrouver un sac, une bouteille, un vêtement ou un animal de compagnie dans un lieu familier. L’intérêt ne résiderait pas seulement dans la description générale de la scène, mais dans la réponse à une demande concrète : localiser l’objet recherché.

Des assistants de réalité augmentée, des outils de suivi d’animaux ou des fonctions de recherche visuelle dans un environnement domestique pourraient également bénéficier de cette capacité. Mais tout déploiement dans des lieux publics ou impliquant des personnes devrait s’accompagner de garde-fous solides sur la vie privée, la collecte d’images et les risques de surveillance excessive.

Ce qu’il faut surveiller après l’ICCV 2025

La présentation de ces travaux à l’ICCV 2025 offrira une étape de discussion scientifique importante. La conférence est l’un des grands rendez-vous internationaux de la vision par ordinateur, un domaine qui rassemble la reconnaissance d’images, l’analyse vidéo et les systèmes capables d’interpréter une scène.

La prochaine question porte sur la généralisation. La méthode fonctionne-t-elle aussi bien avec des objets rares, des scènes très désordonnées, des images floues ou des conditions d’éclairage difficiles ? Peut-elle s’adapter à des objets qui changent d’apparence au fil du temps ? Et les mêmes gains se retrouveront-ils dans des assistants réellement utilisés par le public ?

Les chercheurs prévoient aussi d’examiner pourquoi les modèles de vision-langage ne transmettent pas toujours pleinement les capacités d’apprentissage contextuel observées chez les grands modèles de langage. Comprendre cette différence pourrait compter bien au-delà de la seule recherche d’objets. C’est une piste pour construire des IA qui ne se contentent pas de reconnaître ce qu’elles ont déjà vu, mais qui savent mieux raisonner à partir des informations particulières qu’on leur donne.