Hallucinations d’IA : quels modèles se montrent les plus fiables en juillet 2025 ?

Une réponse claire, structurée et assurée n’est pas nécessairement une réponse vraie. C’est tout le problème des hallucinations des modèles d’intelligence artificielle : un assistant peut inventer une date, une référence, un fait ou une explication sans signaler son incertitude. À mesure que ces outils gagnent les moteurs de recherche, les logiciels professionnels et les usages quotidiens, leur capacité à ne pas fabriquer d’informations devient un critère décisif.

Les résultats du benchmark Phare LLM, réalisés par la startup française Giskard et relayés le 28 juillet 2025, offrent un point de comparaison entre plusieurs grands modèles de langage. Dans ce classement, Llama 3.1 de Meta est présenté comme le modèle affichant le plus faible niveau d’hallucinations et arrive en tête avec un score de fiabilité de 85,8 %. Gemini 1.5 Pro et Llama 4 Maverick suivent, mais l’évaluation ne porte pas seulement sur l’exactitude factuelle : elle prend aussi en compte la sécurité et la résistance aux manipulations.

Qu’est-ce qu’une hallucination d’IA ?

Dans le domaine des modèles de langage, une hallucination désigne la production d’une information incorrecte, imprécise ou inexistante. Elle peut prendre plusieurs formes : une citation attribuée à tort à une personne, une source qui n’existe pas, une règle juridique mal résumée ou encore une explication technique plausible mais fausse.

Ce phénomène est lié au fonctionnement même des grands modèles de langage. Ces systèmes génèrent du texte en estimant, mot après mot, la suite la plus probable d’une phrase au regard des données sur lesquelles ils ont été entraînés et de la demande formulée. Ils ne disposent pas, par nature, d’un mécanisme infaillible qui distinguerait le vrai du faux. Lorsqu’une information manque, est ambiguë ou que la question contient une prémisse erronée, le modèle peut tenter de compléter le vide au lieu de dire qu’il ne sait pas.

La qualité d’un modèle ne se résume donc pas à sa capacité à écrire avec fluidité. Pour une entreprise, un étudiant, un professionnel de santé, un journaliste ou un particulier, une erreur peut avoir des conséquences très différentes selon le contexte. Une approximation dans un résumé de réunion n’a pas le même poids qu’une référence inventée dans une note juridique ou qu’un conseil erroné dans un domaine sensible.

Les quatre critères utilisés par Phare LLM

Le benchmark Phare LLM ne limite pas son évaluation à la seule question des hallucinations. Il teste les modèles sur quatre axes, qui permettent d’apprécier plus largement leur comportement face à des demandes difficiles ou risquées.

Cette grille de lecture est importante pour interpréter le classement. Un modèle peut être solide sur les faits mais plus vulnérable à certaines tentatives de contournement. À l’inverse, un bon comportement de sécurité ne garantit pas à lui seul l’absence d’erreurs factuelles. La fiabilité globale suppose de regarder ces dimensions ensemble.

Le classement : Llama 3.1 devant Gemini et Llama 4 Maverick

Dans les résultats communiqués, Llama 3.1 prend la première place avec 85,8 % de fiabilité. Le modèle de Meta est suivi de Gemini 1.5 Pro, crédité de 79,12 %, puis de Llama 4 Maverick, avec 77,63 %. L’écart entre le premier et le deuxième atteint donc 6,68 points.

D’autres modèles connus figurent parmi les places élevées. Claude 3.5 Haiku est quatrième, GPT-4o cinquième, puis Claude 3.5 Sonnet sixième. Les scores précis de ces trois modèles ne sont pas indiqués dans les éléments disponibles, mais leur position témoigne d’une performance supérieure à celle des modèles situés dans le bas du tableau.

Ce tableau ne permet pas de conclure qu’un modèle en tête est systématiquement exact, ni qu’un modèle moins bien classé est inutilisable. Il indique plutôt lequel a le mieux résisté au jeu de tests retenu par Phare LLM. Pour un usage concret, le choix doit aussi tenir compte de la tâche demandée : recherche documentaire, rédaction, programmation, traduction, analyse de documents ou assistance client ne sollicitent pas exactement les mêmes capacités.

Grok 2 et les modèles du bas de tableau sous surveillance

Les résultats font particulièrement ressortir Grok 2, le modèle développé par X. Son score global atteint 61,38 %, nettement en dessous des trois premiers modèles. Plus précisément, il obtient 27,32 % sur la dimension décrite comme la résistance aux « fonctions bloquées », qui renvoie aux tentatives d’accès à des fonctionnalités ou contenus que le système est censé refuser.

Ce chiffre ne signifie pas que 72,68 % des réponses de Grok 2 seraient nécessairement fausses. Il concerne une dimension de résistance et un protocole de test précis. En revanche, il souligne une faiblesse notable sur la capacité du modèle à conserver ses garde-fous lorsqu’il est soumis à des requêtes de contournement.

Les modèles de Mistral AI, Mistral Small 3.1 et Mistral Large, sont pour leur part indiqués aux quatorzième et quinzième positions. Le récit des résultats associe également GPT-4o mini à une quinzième place et le cite parmi les modèles ayant un score de fiabilité inférieur à 70 %.

Une ambiguïté à garder en tête dans les positions finales

Les informations disponibles présentent une incohérence sur le bas du classement : la quinzième position est attribuée à la fois à Mistral Large et à GPT-4o mini. Il n’est donc pas possible, à partir de ces seuls éléments, de reconstituer avec certitude l’ordre exact de tous les modèles les moins bien classés.

Cette réserve ne remet pas en cause les scores explicitement publiés pour Llama 3.1, Gemini 1.5 Pro, Llama 4 Maverick ou Grok 2. Elle rappelle toutefois une règle utile face à tout benchmark : il faut distinguer les données chiffrées clairement documentées, les positions annoncées et les interprétations que l’on peut raisonnablement en tirer.

L’autre précaution consiste à ne pas confondre un classement de sécurité et de fiabilité avec un verdict définitif sur la valeur d’un outil. Les modèles évoluent fréquemment, parfois avec des versions, des réglages ou des systèmes de recherche d’information intégrés différents. Un benchmark constitue une photographie à un moment donné, pas une garantie pour tous les usages futurs.

Comment réduire le risque d’erreur au quotidien ?

Le premier réflexe consiste à adapter son niveau de confiance à l’enjeu de la demande. Pour trouver des pistes, reformuler un texte, générer un plan ou expliquer une notion générale, un assistant peut faire gagner du temps. Pour une information qui engage une décision financière, médicale, juridique, administrative ou professionnelle, la réponse doit être considérée comme un point de départ, jamais comme une preuve autonome.

Quelques pratiques permettent de limiter les risques :

• demander au modèle de signaler explicitement ce qu’il ignore et les points incertains ;
• exiger des sources précises, puis vérifier que ces sources existent réellement et qu’elles soutiennent bien l’affirmation ;
• recouper les faits importants avec des organismes compétents, des documents officiels ou des médias fiables ;
• se méfier des listes de références très détaillées, car leur apparence académique ne garantit pas leur authenticité ;
• vérifier les dates, les noms propres, les chiffres et les citations, qui sont souvent faciles à contrôler indépendamment.

Une bonne formulation peut également aider. Au lieu de demander « Explique-moi la règle applicable », il est préférable de préciser le pays, la date, le contexte et de demander les limites de la réponse. Il est aussi utile d’inviter l’assistant à distinguer les faits établis, les hypothèses et les informations qu’il ne peut pas confirmer. Cela ne supprime pas les hallucinations, mais réduit la tentation de fournir une réponse trop catégorique à une question incomplète.

Ce qu’il faut surveiller

Le classement de juillet 2025 met en lumière une réalité centrale : les performances des modèles de langage ne doivent pas être jugées uniquement sur leur aisance rédactionnelle. Llama 3.1, Gemini 1.5 Pro et Llama 4 Maverick obtiennent les meilleurs résultats dans l’évaluation relayée, tandis que Grok 2 se distingue par une faiblesse marquée, notamment face aux tentatives de contournement de fonctions bloquées.

Pour les utilisateurs comme pour les organisations, le sujet dépasse le palmarès entre grands noms de l’IA. Il faudra suivre l’évolution des méthodes de test, la transparence des éditeurs sur leurs résultats et la capacité des benchmarks à reproduire des situations réelles. L’objectif n’est pas de trouver un assistant infaillible, car aucun ne l’est, mais de savoir dans quelles conditions lui accorder une confiance limitée et contrôlée.