Pourquoi les prédictions de l’IA se trompent, et comment limiter les risques

Une réponse fluide, détaillée et assurée peut donner l’impression qu’une intelligence artificielle « sait » de quoi elle parle. C’est précisément ce qui rend ses erreurs parfois difficiles à détecter. Les modèles de langage à grande échelle, ou LLM, tels que GPT-3 et GPT-4, sont capables de résumer des documents, de rédiger, de classer des informations ou d’aider à formuler des analyses. Mais leurs résultats ne doivent pas être confondus avec une prédiction certaine, ni avec un avis vérifié par un expert.

Publié le 8 juin 2024, ce constat mérite une attention particulière à mesure que ces outils entrent dans les entreprises, les services publics et les usages quotidiens. L’enjeu n’est pas de rejeter l’IA parce qu’elle se trompe. Aucun outil de prévision, ni aucun humain, n’est infaillible. Il consiste à comprendre d’où viennent les erreurs, à savoir quand elles deviennent dangereuses et à organiser des vérifications à la hauteur des décisions concernées.

Ce qu’une IA appelle une prédiction

Le mot « prédiction » peut recouvrir deux réalités. Dans un logiciel de prévision, l’IA peut estimer une demande commerciale, un risque de défaut de paiement ou la probabilité d’un événement à partir de données passées. Dans un modèle de langage, elle prédit surtout la suite la plus probable d’une phrase, morceau par morceau, afin de former une réponse cohérente.

Cette seconde mécanique explique une grande part de l’impressionnante aisance des assistants conversationnels. Le système a repéré, pendant son entraînement, des régularités dans de vastes ensembles de textes. Il peut alors associer une question à des formulations, des explications ou des structures de réponse fréquemment rencontrées. Cette capacité est très utile pour rédiger un brouillon, expliquer un concept ou extraire des éléments d’un texte fourni.

Elle ne vaut toutefois pas vérification indépendante. Une formulation plausible n’est pas forcément une affirmation vraie, particulièrement lorsqu’elle porte sur un fait rare, récent, très spécialisé ou absent des informations disponibles au modèle. Un LLM ne consulte pas automatiquement une base fiable et actualisée à chaque phrase qu’il produit.

D’où viennent les erreurs des modèles de langage ?

La qualité d’un résultat dépend d’abord de la qualité de ce qui a servi à entraîner ou alimenter le système. Une IA apprend à partir d’exemples : si ces exemples comportent des imprécisions, des stéréotypes, des lacunes ou des données anciennes, elle peut reproduire ces défauts. La quantité de données ne garantit donc ni leur exactitude ni leur représentativité.

Les erreurs peuvent aussi être introduites après l’entraînement, au moment où un système reçoit des documents internes, des bases de données ou des instructions mal structurées. Enfin, une question ambiguë appelle parfois une réponse trop catégorique : faute de contexte, le modèle choisit une interprétation probable, qui peut ne pas être celle de l’utilisateur.

Le terme « hallucination » désigne ce dernier phénomène : le modèle produit une information qui paraît crédible, mais qui est fausse, non fondée ou inventée. Il ne s’agit pas nécessairement d’un mensonge au sens humain du terme. Le système n’a pas l’intention de tromper : il poursuit une génération de texte statistiquement vraisemblable, même lorsqu’il ne dispose pas d’une base solide pour répondre.

Pourquoi le raisonnement peut-il sembler juste tout en étant faux ?

Les LLM peuvent réussir certains exercices de logique et suivre des étapes de calcul ou d’argumentation. Toutefois, leurs performances restent variables selon la manière dont le problème est formulé, sa complexité et les informations à prendre en compte. Une petite modification dans l’énoncé peut parfois faire basculer une bonne réponse vers une mauvaise.

Le problème tient à la nature même de ces modèles. Ils manipulent des représentations statistiques du langage et ne disposent pas, par principe, d’un mécanisme qui garantit une compréhension conceptuelle du monde ou la validation de chaque conclusion. Ils peuvent ainsi proposer une chaîne de raisonnement bien présentée, mais fondée sur une prémisse erronée ou comportant un saut logique.

Les tâches qui demandent de combiner plusieurs contraintes, de distinguer des exceptions ou de raisonner sur des informations nouvelles sont donc particulièrement sensibles. Il faut également se méfier de l’illusion de compétence : lorsqu’un modèle répond correctement à dix questions simples, il n’est pas pour autant fiable sur la onzième, surtout si les conséquences d’une erreur sont élevées.

Quand une mauvaise réponse devient-elle un vrai risque ?

Toutes les erreurs n’ont pas le même poids. Si un assistant suggère une reformulation maladroite dans un brouillon de courrier, la correction est généralement simple. Le niveau de prudence doit changer lorsque l’IA contribue à une décision qui concerne la santé d’une personne, son emploi, son accès à un service, ses finances ou l’orientation stratégique d’une entreprise.

Dans le domaine médical, une mauvaise prédiction ou une information inexacte peut contribuer à un diagnostic incorrect et, par conséquent, à un traitement inadéquat. Un outil d’IA peut assister un professionnel, par exemple en aidant à trier des informations ou à repérer des signaux dans un dossier. Il ne doit pas devenir l’unique arbitre d’une décision clinique.

Dans une entreprise, une prévision de ventes, une estimation de risque ou une synthèse de marché erronée peut entraîner un mauvais investissement, une allocation de ressources inefficace ou une stratégie mal avisée. Le risque est accru lorsque les utilisateurs ne connaissent pas les limites de l’outil et reprennent ses conclusions sans vérifier les données initiales.

Comment réduire les erreurs dans un usage professionnel ?

Il n’existe pas de bouton qui rendrait une IA parfaitement fiable. En revanche, plusieurs pratiques peuvent réduire fortement le risque. Elles doivent être choisies selon l’usage : une aide à la rédaction ne demande pas les mêmes garanties qu’un outil utilisé pour établir une recommandation médicale ou financière.

La première règle est de conserver une validation humaine réelle. Vérifier ne signifie pas seulement relire la forme d’un texte. Il faut contrôler les chiffres, les faits, les références, les hypothèses et la cohérence de la conclusion avec le dossier concerné. Lorsque l’IA produit une analyse, l’utilisateur doit pouvoir remonter aux éléments qui la justifient.

La deuxième règle consiste à soigner les données. Des ensembles diversifiés et examinés pour leurs biais permettent de mieux couvrir la variété des situations rencontrées. Il faut aussi documenter leur provenance, leur date et leurs limites. Une donnée fiable dans un contexte peut être inadaptée dans un autre.

Enfin, les organisations ont intérêt à prévoir un cadre de gouvernance clair. Cela passe notamment par :

• l’identification des tâches pour lesquelles l’IA est un outil d’assistance, et de celles où elle ne doit pas décider seule ;
• des tests réguliers sur des cas représentatifs, y compris des cas difficiles ou inhabituels ;
• une procédure pour signaler, corriger et analyser les erreurs constatées ;
• la formation des équipes, afin qu’elles sachent repérer les réponses incertaines ;
• une traçabilité des décisions lorsqu’un système d’IA a contribué à les préparer.

La vérification croisée est également utile. Elle peut prendre la forme d’un contrôle par une personne, d’une comparaison avec des documents de référence ou d’un second outil spécialisé. Cette méthode ne doit pas être appliquée mécaniquement : deux systèmes entraînés sur des données similaires peuvent reproduire la même erreur. La qualité du contrôle compte autant que son existence.

Des modèles plus grands suffiront-ils ?

Une idée largement défendue dans le secteur consiste à augmenter la taille des modèles, leur puissance de calcul et le volume de leurs données d’entraînement. Cette approche a permis des progrès visibles dans la qualité du langage, la capacité à suivre des instructions et la réussite à de nombreux tests.

Mais elle suscite aussi des réserves. Des chercheurs et figures du domaine, parmi lesquels Yann LeCun et Gary Marcus, estiment que l’augmentation d’échelle ne réglera pas à elle seule les difficultés fondamentales liées au raisonnement logique, à la robustesse ou aux hallucinations. Selon cette lecture, un modèle plus grand peut être plus performant en moyenne tout en restant capable d’erreurs élémentaires dans certains contextes.

Le débat ne porte donc pas seulement sur la taille des systèmes. Il concerne les méthodes pour les évaluer, les entraîner, les relier à des informations contrôlées et les faire travailler avec des mécanismes de vérification. À mesure que les gains obtenus par l’augmentation de taille risquent de devenir moins nets, ces pistes pourraient prendre une importance accrue.

Ce qu’il faut surveiller pour une IA plus fiable

La fiabilité ne se résume pas à un score obtenu dans un test. Un système peut briller sur un benchmark, tout en échouant dans les conditions concrètes d’une organisation : données locales, procédures particulières, situations rares ou utilisateurs qui formulent mal leurs demandes. Avant un déploiement, il faut donc l’évaluer sur les tâches réelles qu’il devra accomplir.

Le progrès dépendra aussi de la transparence sur les limites des outils. Les concepteurs doivent pouvoir indiquer dans quels cas un modèle est performant, dans quels cas il est incertain et quelles protections sont prévues. Les utilisateurs, eux, doivent garder le réflexe essentiel : traiter une réponse d’IA comme une proposition à examiner, et non comme une autorité.

L’intelligence artificielle peut devenir un précieux accélérateur de travail et d’analyse. Sa place la plus sûre reste toutefois celle d’un système dont les résultats sont contextualisés, vérifiés et assumés par des personnes responsables. C’est à cette condition que ses prédictions pourront aider à décider, sans transformer une erreur plausible en erreur coûteuse.