Australie : Deloitte rembourse après les erreurs d’un rapport utilisant l’IA

Un rapport de conseil payé 440 000 $ par l’État peut-il contenir des références à des travaux qui n’existent pas ? Le cas de Deloitte en Australie apporte une réponse embarrassante. Après la mise au jour de citations erronées dans une évaluation destinée au gouvernement fédéral, le cabinet a accepté de rembourser la dernière tranche de son contrat. L’épisode ne se résume toutefois pas à une simple coquille : il interroge la manière dont l’intelligence artificielle générative est employée, contrôlée et déclarée dans les missions d’intérêt public.

Le document en cause portait sur un dispositif informatique qui automatise des pénalités dans le système australien d’aide sociale. Son sujet est donc particulièrement sensible : les analyses formulées peuvent éclairer des décisions ayant des conséquences concrètes pour des personnes recevant des prestations. Or la version initiale incluait notamment des références académiques et juridiques inexistantes. Dans sa version corrigée, Deloitte reconnaît avoir utilisé un outil reposant sur Azure OpenAI GPT-4o, tout en affirmant que l’IA générative n’est pas à l’origine des erreurs relevées.

Un contrat public de 440 000 $ partiellement remboursé

Deloitte avait été mandaté par le Department of Employment and Workplace Relations, le département fédéral australien de l’Emploi et des Relations du travail, généralement désigné par l’acronyme DEWR. Sa mission consistait à examiner le cadre de conformité ciblé, ainsi que le système informatique qui le soutient.

Ce système sert à automatiser des pénalités liées au respect d’obligations dans le cadre de l’aide sociale. Une telle mission dépasse donc le simple exercice administratif. Elle implique d’établir avec précision comment les règles appliquées par un outil informatique se rattachent aux textes législatifs et réglementaires qui les fondent.

Le rapport initial de Deloitte a été publié le 4 juillet 2025. Il y relevait lui-même des problèmes importants : une insuffisante « traçabilité » entre les règles du cadre de conformité et la législation qui les sous-tend, ainsi que des défauts du système reposant sur des hypothèses punitives à l’égard des participants considérés comme non conformes.

Mais l’attention s’est ensuite déplacée vers la qualité du travail fourni par le cabinet. En août, une enquête de l’Australian Financial Review a signalé plusieurs erreurs de références et de citations. Le DEWR a confirmé que Deloitte rembourserait la dernière échéance du contrat. Les modalités de ce remboursement devaient être publiées une fois l’accord finalisé.

Le remboursement ne signifie pas que l’intégralité du contrat serait annulée ni que le montant exact reversé serait connu à ce stade. Il porte précisément sur la dernière tranche de paiement. Mais, pour un cabinet mondial de conseil, accepter cette mesure dans le cadre d’une mission gouvernementale est un signal très défavorable sur le plan de l’assurance qualité.

Des références académiques et judiciaires qui n’existaient pas

Les erreurs ne portaient pas seulement sur une ponctuation défaillante ou une date mal retranscrite. Les investigations citées par l’Australian Financial Review ont identifié des références à de prétendues études attribuées à des universitaires de l’université de Sydney et de l’université de Lund, en Suède. Or ces travaux n’existaient pas.

Le rapport contenait aussi un renvoi à une décision judiciaire dans une affaire de remboursement qui s’est révélée faux. Ce type d’erreur est particulièrement problématique dans un rapport d’expertise remis à une administration. Une référence ne sert pas uniquement à donner de la crédibilité au texte : elle permet au lecteur de remonter au raisonnement, de vérifier le contexte d’une affirmation et, si nécessaire, de contester son interprétation.

Lorsqu’une citation est inventée ou introuvable, cette chaîne de vérification se rompt. Même si l’argument qu’elle semblait appuyer peut être correct par ailleurs, le lecteur ne peut plus déterminer sur quelle preuve l’auteur s’est réellement fondé. Dans un domaine touchant au droit administratif et aux prestations sociales, ce défaut est loin d’être anodin.

Le Dr Christopher Rudge, universitaire à l’université de Sydney, a décrit la présence d’« hallucinations » dans le document. Dans le vocabulaire de l’IA générative, une hallucination désigne une réponse formulée avec assurance, mais factuellement erronée ou non étayée. Elle peut prendre la forme d’un fait inexact, d’une date erronée, d’une interprétation trompeuse ou, comme ici, d’une source qui semble plausible sans avoir jamais existé.

Quel rôle l’IA générative a-t-elle joué dans le rapport ?

La version révisée comprend un appendice précisant qu’une IA générative a été utilisée dans certains éléments du rapport. L’outil évoqué reposait sur le modèle de langage Azure OpenAI GPT-4o, sous licence du DEWR et hébergé sur l’infrastructure Azure du ministère.

Cette précision est importante pour deux raisons. D’une part, elle établit que l’IA n’était pas extérieure au processus de production du document. D’autre part, elle distingue cet usage d’un recours non encadré à un service public d’IA depuis un ordinateur personnel : l’outil était intégré à un environnement sous licence et hébergé dans l’infrastructure ministérielle.

Cette configuration peut répondre à des enjeux de sécurité, de gestion des accès ou de protection des données. Elle ne dispense toutefois pas de l’étape essentielle : contrôler les résultats. Un environnement techniquement autorisé ne transforme pas les textes générés en sources vérifiées, ni les citations proposées en références authentiques.

Deloitte a maintenu que l’intelligence artificielle générative n’était pas responsable des erreurs découvertes. Le cabinet a aussi défendu les conclusions de son analyse, en indiquant que les corrections n’en modifiaient ni les résultats ni les recommandations. Le différend semble avoir été réglé directement avec le client, selon un porte-parole de Deloitte.

La question centrale n’est donc pas seulement de savoir si un logiciel a « écrit » une phrase erronée. Dans une mission de conseil, la responsabilité finale du livrable reste celle de l’organisation qui le remet à son client. Les procédures de relecture, de vérification des références et de validation par des spécialistes sont précisément censées empêcher qu’un contenu incertain arrive dans une publication officielle.

Ce que la version corrigée modifie, et ce qu’elle ne modifie pas

Le DEWR a remis en ligne une version révisée du rapport le vendredi précédant la publication de cette affaire. Deloitte y indique avoir effectué des corrections immédiates sur un « petit nombre » de références et de notes de bas de page. Le département, de son côté, assure qu’aucun changement n’a été apporté aux recommandations.

Autrement dit, les erreurs de citation ont été reconnues comme suffisamment graves pour justifier une republication et un remboursement partiel, sans que les conclusions opérationnelles du rapport soient retirées ou réécrites. Cette coexistence de deux constats explique en partie le débat : pour Deloitte et le ministère, le fond de l’analyse demeure valable ; pour ses critiques, des références fictives peuvent fragiliser la confiance accordée à l’ensemble du document.

Le Dr Rudge a ainsi exprimé des réserves sur la légitimité du rapport dans son ensemble, tout en notant que ses conclusions rejoignaient d’autres éléments largement étayés. Cette nuance compte. Une conclusion peut coïncider avec des preuves solides disponibles ailleurs, tout en étant insuffisamment documentée ou mal sourcée dans le rapport qui prétend l’établir.

Au-delà de Deloitte, un test pour le conseil au secteur public

L’affaire nourrit une interrogation plus vaste sur le recours aux cabinets de conseil par les administrations. Ces entreprises sont engagées pour apporter une expertise, une méthodologie, du temps d’analyse et une capacité de contrôle que le client ne possède pas toujours en interne. Quand un rapport onéreux comprend des études fantômes ou une décision de justice inexistante, c’est la valeur même de cette prestation qui est questionnée.

Une sénatrice du Parti travailliste a qualifié l’épisode de « problème d’intelligence humaine » chez Deloitte. La formule résume une réalité souvent perdue dans les débats sur l’IA : l’outil peut accroître le risque d’erreurs à grande vitesse, mais c’est bien une décision humaine qui organise son usage, accepte sa production, appose une validation et facture le résultat.

La sénatrice Deborah O’Neill a jugé la situation « alarmante », estimant qu’elle donnait l’impression que l’IA avait remplacé une véritable expertise humaine. Son propos vise moins l’interdiction de toute IA que l’exigence de transparence et de compétence. Un donneur d’ordre public ou privé devrait pouvoir savoir :

• si une IA générative a participé à la rédaction d’un livrable ;
• quelles sections ont été produites ou retravaillées avec cet outil ;
• comment les sources, citations et raisonnements juridiques ont été vérifiés ;
• quel expert humain assume la responsabilité finale du contenu.

Dans la pratique, une procédure robuste suppose au minimum de vérifier chaque source primaire, de consulter les textes juridiques auxquels le document renvoie et de distinguer clairement ce qui relève d’une analyse, d’une hypothèse ou d’un fait établi. La relecture ne doit pas se limiter à corriger la forme : elle doit permettre de reproduire le chemin qui mène d’une source à une recommandation.

Pourquoi les hallucinations sont-elles si difficiles à détecter ?

Les références erronées générées ou relayées dans un texte peuvent sembler très convaincantes. Elles reprennent souvent les codes académiques et juridiques attendus : noms d’universités réelles, chercheurs plausibles, titres techniques, dates, notes de bas de page et formulations spécialisées. Pour un lecteur non expert du sujet exact, l’apparence de rigueur peut masquer l’absence de preuve.

C’est pourquoi la vérification doit être proportionnée à l’enjeu du document. Dans une note de travail interne, un brouillon généré par IA peut être utile pour structurer une réflexion, à condition de ne pas le confondre avec un résultat final. Dans un rapport remis à une administration sur un système de sanctions sociales, l’exigence est d’un autre niveau : les citations doivent être consultées, les décisions de justice retrouvées et les affirmations rattachées à des documents identifiables.

L’épisode australien rappelle aussi qu’un rapport peut contenir à la fois des observations pertinentes et des références défectueuses. Cette situation rend le contrôle plus difficile qu’un texte manifestement absurde. Elle exige une évaluation point par point, et non une confiance globale accordée au nom du cabinet, au prix du contrat ou à la sophistication de l’outil utilisé.

Ce qu’il faut surveiller

La publication des modalités du remboursement permettra d’abord de mesurer la réponse contractuelle apportée par le gouvernement australien. Le montant total du contrat est connu, 440 000 $, mais la valeur de sa dernière tranche et les éventuelles conditions associées restent à préciser.

Il faudra également observer si cette affaire conduit les administrations à renforcer leurs cahiers des charges pour les missions de conseil. Des exigences explicites sur la déclaration de l’usage de l’IA, la conservation des éléments de preuve, la vérification des références et la responsabilité des signataires pourraient devenir plus fréquentes.

Enfin, cette séquence pose une question de confiance. L’IA générative peut accélérer certaines tâches de rédaction, de synthèse ou de mise en forme. Mais dans les travaux qui fondent l’action publique, le gain de temps ne peut pas remplacer l’examen des faits. Le remboursement de Deloitte est un rappel concret : une référence doit pouvoir être retrouvée, une recommandation doit pouvoir être justifiée, et l’expertise humaine doit rester identifiable.