Les modèles vision-langage butent encore sur un mot clé : la négation

Un objet présent dans une image est relativement simple à désigner. Dire qu’il faut retrouver une image où cet objet est absent est une autre affaire. C’est pourtant une distinction fondamentale, y compris dans les échanges les plus ordinaires : « une voiture sans passager », « un patient qui n’a pas le cœur agrandi », « une pièce qui ne présente pas de fissure ». Une étude menée par des chercheurs du MIT montre que les modèles vision-langage, conçus pour relier des images à des instructions en langage naturel, échouent fréquemment sur cette seconde tâche.

Le résultat ne décrit pas un détail grammatical anodin. Dans les tests étudiés, lorsque les requêtes comportaient des mots de négation, les modèles obtenaient des performances comparables à celles d’un choix aléatoire. Autrement dit, ils peuvent repérer les mots correspondant aux objets ou aux états évoqués, tout en perdant l’information déterminante : savoir si l’utilisateur veut les trouver ou, au contraire, les exclure.

Pourquoi un mot comme « sans » change-t-il autant le résultat ?

Un modèle vision-langage, souvent désigné par le sigle anglais VLM, associe deux types d’information. D’un côté, il analyse le contenu visuel d’une photographie, d’un schéma ou d’une radiographie. De l’autre, il traite un texte : une légende, une question ou une instruction. Son objectif est notamment de rapprocher une requête de l’image qui lui correspond le mieux, ou de répondre à une question portant sur cette image.

Dans une demande affirmative, le mécanisme paraît intuitif. Si la requête mentionne un chien, le modèle doit favoriser les images où un chien est visible. Avec une négation, la logique change : « sans chien » ne signifie pas seulement que le mot chien est important, mais qu’il faut vérifier son absence. Le modèle doit donc traiter le petit mot qui inverse la relation entre la consigne et l’image.

C’est là que les systèmes examinés par les chercheurs rencontrent une difficulté. Ils semblent surtout sensibles aux éléments positivement cités dans le texte. Face à une requête qui contient à la fois un objet, une caractéristique et une négation, ils peuvent retenir l’objet et la caractéristique, mais ignorer le terme qui devrait les écarter.

Cette nuance explique pourquoi le défaut peut rester discret dans une démonstration classique. Un modèle qui trouve une image correspondant à « un chat sur un canapé » peut paraître convaincant. Mais une recherche portant sur « un canapé sans chat » teste une faculté plus exigeante : raisonner sur l’absence, plutôt que sur la seule présence.

Ce que l’étude du MIT a mis à l’épreuve

Les chercheurs ont évalué la capacité de modèles vision-langage à traiter des requêtes comprenant des termes qui définissent ce qui n’est pas visible. Ils ont notamment observé leurs résultats dans des tâches de récupération d’images, c’est-à-dire lorsqu’il faut sélectionner l’image appropriée pour une demande écrite, ainsi que dans des questions à choix multiples.

Le constat est net : les modèles ne distinguent pas efficacement les requêtes contenant des négations. Dans ces cas, les résultats observés ont été équivalents à des choix aléatoires. Une telle contre-performance est particulièrement révélatrice, car la négation ne requiert pas une connaissance rare du monde. Elle fait partie du langage courant et peut modifier entièrement le sens d’une phrase.

L’étude met ainsi en évidence un écart entre une capacité apparente à relier texte et image, et une compréhension fiable de la consigne. Pour l’utilisateur, une réponse qui semble plausible n’est pas nécessairement une réponse fidèle à la question posée. Or, avec la négation, l’erreur peut être particulièrement trompeuse : le système peut sélectionner une image qui contient précisément ce que la requête demandait d’éviter.

Un biais d’affirmation issu des données d’entraînement

Pourquoi cette faiblesse existe-t-elle ? Les modèles vision-langage sont entraînés sur d’immenses collections d’images accompagnées de légendes. Ces descriptions disent fréquemment ce qui est visible : une personne, un animal, un bâtiment, un symptôme ou une pièce mécanique. Elles expriment beaucoup moins souvent ce qui ne figure pas dans l’image.

Cette asymétrie donne naissance à ce que les chercheurs décrivent comme un biais d’affirmation. Pendant l’apprentissage, le modèle rencontre surtout des associations positives entre des mots et des éléments visibles. Il apprend donc efficacement que le terme « vélo » correspond à certaines formes dans une image. En revanche, une phrase telle que « il n’y a pas de vélo » offre une information d’une nature différente. Pour y répondre, il faut ne pas seulement repérer le concept de vélo, mais évaluer qu’il ne peut pas être associé à l’image choisie.

Le problème est aussi linguistique. Les mots comme « non », « pas », « sans » ou « n’est pas » sont courts, mais leur portée peut concerner un groupe entier de mots. Dans « gonflement des tissus sans cœur agrandi », la seconde partie n’est pas une précision secondaire. Elle élimine au contraire les cas où le cœur est agrandi. Si le modèle rapproche malgré tout la demande de rapports contenant ces deux conditions, il produit une association contradictoire.

Il ne s’agit donc pas uniquement de mieux détecter des pixels ou des contours. L’enjeu consiste à relier correctement la structure d’une phrase à ce que l’image montre, ou ne montre pas. Les résultats rappellent que les performances d’un système d’IA sur des exemples généraux ne garantissent pas sa fiabilité face à chaque forme de langage.

Pourquoi cette limite inquiète en santé et dans l’industrie

Dans un environnement où l’IA n’est qu’un outil d’exploration, une mauvaise recherche d’image peut faire perdre du temps. Dans un environnement décisionnel, la même erreur peut devenir plus lourde de conséquences. Les chercheurs citent le cas d’un radiologiste qui analyserait une radiographie thoracique et chercherait des rapports de patients présentant un gonflement des tissus, sans cœur agrandi.

Cette précision est médicalement importante dans l’exemple. Si un modèle récupère aussi des rapports où les deux éléments sont présents, il mélange des situations contradictoires. Or, un gonflement sans cœur agrandi peut avoir des causes multiples. Faire disparaître la négation dans la recherche revient donc à brouiller un critère susceptible d’orienter l’interprétation du professionnel.

L’étude ne dit pas qu’un modèle pose seul un diagnostic ni qu’il remplacerait un radiologiste. Elle souligne précisément le risque d’une utilisation insuffisamment vérifiée dans des contextes où les résultats peuvent influencer une décision. Une IA qui confond « présent » et « absent » ne doit pas être considérée comme une source fiable pour trier, rechercher ou résumer des informations sensibles sans contrôle adapté.

La même prudence vaut pour l’identification de défauts dans un processus de fabrication. Chercher des produits présentant un défaut n’est pas équivalent à chercher des produits ne présentant pas ce défaut. Si un système ne traite pas l’exclusion, il peut classer à tort des pièces conformes ou, inversement, ne pas isoler les pièces qui exigent une attention humaine.

Des données mieux formulées améliorent déjà les résultats

Les chercheurs ne se sont pas arrêtés au constat. Ils ont créé un ensemble de données enrichi de légendes intégrant des négations, puis ont entraîné des modèles vision-langage sur cette nouvelle base. L’idée est simple : si les exemples d’apprentissage décrivent presque exclusivement ce qui est présent, il faut donner au modèle des cas où l’absence d’un élément fait explicitement partie de l’information à comprendre.

Les résultats indiquent que cette approche est efficace. L’entraînement sur ces données a apporté 10 % de progrès dans la récupération d’images. La précision des réponses à des questions à choix multiples a, elle, augmenté de 30 %. Ces gains ne signifient pas que le problème est définitivement résolu dans tous les cas. Ils démontrent cependant qu’une partie importante de la faiblesse provient de la façon dont les données sont constituées, et qu’elle peut être réduite par un apprentissage plus approprié.

Cette conclusion a une portée pratique. L’amélioration d’un modèle ne passe pas nécessairement par une course à la taille ou à la puissance de calcul. La qualité, la variété et le libellé des exemples fournis pendant l’entraînement comptent tout autant. Pour des usages ciblés, les concepteurs peuvent avoir intérêt à vérifier si leurs données comportent les formulations réellement employées sur le terrain : exclusions, exceptions, doubles négations ou conditions contradictoires.

Il faut aussi évaluer le modèle avec des tests qui reproduisent les demandes réelles. Un système testé seulement sur des requêtes positives risque d’afficher de bons résultats tout en échouant dès qu’une consigne spécifie ce qu’il ne faut pas sélectionner. La négation doit donc devenir un cas de test explicite, et non une subtilité laissée de côté.

Comment utiliser ces modèles avec davantage de prudence ?

Les chercheurs invitent les utilisateurs à réfléchir au problème précis qu’ils veulent résoudre avant de déployer un modèle vision-langage. Cette recommandation est essentielle, car les termes employés, les images manipulées et le coût d’une erreur varient fortement d’un secteur à l’autre.

Avant d’intégrer un VLM à un outil professionnel, plusieurs vérifications s’imposent :

• tester les requêtes contenant « sans », « pas », « aucun » ou d’autres formulations d’exclusion réellement utilisées dans l’activité ;
• comparer les résultats avec des exemples où seul le mot de négation change, afin de voir si la sélection du modèle change elle aussi ;
• conserver une validation humaine lorsque l’erreur peut affecter un patient, un produit ou une décision importante ;
• travailler avec des experts du domaine pour définir les cas ambigus et les seuils de fiabilité acceptables.

Ces précautions ne sont pas un frein à l’innovation. Elles permettent au contraire de déterminer où un modèle peut apporter une aide réelle et où ses limites imposent un encadrement plus strict. Dans un outil de recherche interne, par exemple, une réponse peut être utile si elle guide un spécialiste vers des documents à examiner. Dans une situation où la sortie du modèle déclenche directement une action, les exigences de validation doivent être bien plus élevées.

Ce qu’il faut surveiller avant les déploiements à enjeux élevés

L’étude du MIT attire l’attention sur un point souvent négligé dans l’évaluation de l’IA : une instruction brève peut contenir une condition décisive. Les futurs progrès devront donc être mesurés non seulement sur la reconnaissance d’objets ou sur la fluidité des réponses, mais aussi sur la capacité des modèles à respecter précisément les contraintes d’une demande.

La constitution de jeux de données comprenant davantage de négations est une piste concrète. La collaboration entre spécialistes de l’IA et professionnels des secteurs concernés en est une autre. Un expert médical ou industriel est le mieux placé pour identifier les mots, les exceptions et les associations qui ne doivent jamais être confondus.

À mesure que les modèles vision-langage seront intégrés à des outils de santé, de contrôle qualité ou de recherche documentaire, la question ne sera pas seulement « que voit le modèle ? ». Elle sera aussi : comprend-il exactement ce que l’on lui demande de ne pas voir ? Les résultats publiés en mai 2025 montrent que cette exigence doit être démontrée par des tests, et non supposée à partir d’une démonstration convaincante.