Comparateur d’IA du gouvernement : mettre deux modèles à l’épreuve

Comparer une intelligence artificielle ne consiste plus seulement à lire des fiches techniques ou à se fier à la réputation de son éditeur. En février 2025, le comparateur d’IA mis en place par le ministère de la Culture en collaboration avec la Direction interministérielle du numérique, la DINUM, propose une expérience plus concrète : poser une question, examiner plusieurs réponses sans connaître immédiatement leur provenance, puis choisir celle qui répond le mieux au besoin exprimé.

L’ambition est double. D’une part, donner au grand public et aux entreprises un moyen gratuit d’observer les différences entre modèles. D’autre part, recueillir des retours sur des usages réels, notamment en français. Dans un secteur où les performances affichées reposent souvent sur des tests difficiles à interpréter pour les non-spécialistes, cette confrontation directe peut rendre les écarts plus visibles. Elle ne dispense toutefois ni de vérifier les informations produites, ni d’évaluer les risques propres à chaque usage.

Un comparateur public pour confronter les réponses des IA

L’initiative du ministère de la Culture et de la DINUM s’inscrit dans une volonté de favoriser la transparence autour des technologies d’intelligence artificielle. Le principe est simple : plusieurs systèmes reçoivent une requête identique, et leurs réponses sont affichées pour être comparées. L’utilisateur peut alors juger laquelle lui paraît la plus satisfaisante.

Le dispositif est annoncé comme entièrement gratuit et accessible. Il s’adresse aussi bien à une personne curieuse de comprendre ce que répondent différents assistants qu’à un professionnel souhaitant disposer d’un premier point de comparaison avant d’envisager un usage dans son organisation.

Ce type d’outil se distingue des classements techniques traditionnels. Les grands modèles de langage sont habituellement évalués au moyen de batteries de questions standardisées : problèmes de logique, exercices de programmation, connaissances générales, compréhension d’un texte ou traduction. Ces benchmarks sont utiles, mais ils ne reproduisent pas toujours les demandes formulées au quotidien, par exemple rédiger un courrier, synthétiser un document, préparer un cours ou rechercher des idées.

Comment fonctionne le comparateur d’IA ?

Le fonctionnement repose sur une évaluation participative. L’utilisateur formule une question ou une consigne. Les modèles sélectionnés répondent à cette même demande, puis les productions sont proposées de façon anonymisée. Cette anonymisation a un objectif précis : éviter que la notoriété d’une marque ou d’un modèle n’influence le choix avant la lecture.

La personne qui teste le service peut comparer la qualité des textes et exprimer sa préférence. Les réponses sont notamment appréciées selon leur pertinence, leur clarté et leur utilité. Les interactions et les préférences recueillies alimentent ensuite le classement dynamique décrit par l’outil.

Cette méthode a une force évidente : elle remet l’usage au centre. Une réponse courte peut être préférable à une longue explication si la question appelle une instruction immédiate. À l’inverse, une formulation détaillée et structurée sera plus utile pour préparer une note, un cours ou une analyse. Il n’existe donc pas un unique « meilleur » modèle dans l’absolu, mais des réponses plus ou moins adaptées à un contexte précis.

Pour obtenir un résultat parlant, la formulation de la demande compte beaucoup. Il est préférable d’indiquer le public visé, le ton attendu, le format souhaité et les éventuelles contraintes. Demander « explique-moi l’IA » ne produira pas le même test que « explique le fonctionnement d’un modèle de langage en 150 mots à un lycéen, avec un exemple concret ».

Quels modèles peut-on comparer ?

Parmi les modèles avancés cités dans la présentation du comparateur figurent OpenAI o1, ChatGPT-4o et Blaze AI. Ils illustrent la diversité des approches désormais accessibles dans l’univers de l’IA générative, depuis les capacités de raisonnement général jusqu’aux interactions multimodales.

Il faut bien distinguer les noms commerciaux, les modèles et les interfaces. Un service conversationnel peut intégrer un ou plusieurs modèles, et ses possibilités peuvent évoluer. De même, deux outils capables de répondre à une même question peuvent privilégier des qualités différentes : l’un pourra développer davantage son raisonnement, l’autre fournir une réponse plus directe, mieux structurée ou plus adaptée à un dialogue incluant plusieurs types de contenus.

Dans le cadre du comparateur, la bonne question n’est donc pas seulement « quel modèle gagne ? ». Il est plus utile de se demander : lequel répond le plus justement à mon besoin, dans ma langue, avec le niveau de détail et le format que j’attends ? Une bonne réponse pour un brainstorming ne répond pas nécessairement aux exigences d’une recherche documentaire, d’un exercice éducatif ou d’une décision professionnelle.

Ce que les votes des utilisateurs révèlent, et ce qu’ils ne mesurent pas

L’intérêt d’une confrontation à l’aveugle est de produire un signal sur l’expérience ressentie par les utilisateurs. Si une réponse est souvent préférée, cela indique qu’elle semble répondre plus efficacement aux requêtes qui ont été soumises. Mais une préférence collective ne constitue pas, à elle seule, un certificat de vérité ou de sécurité.

Une IA peut répondre de manière claire et assurée tout en commettant une erreur factuelle, en omettant une nuance importante ou en inventant une référence. Ce phénomène est fréquemment appelé « hallucination » dans le domaine de l’IA, même s’il ne renvoie pas à une expérience humaine : le système produit avant tout une suite de texte plausible.

La comparaison doit donc être considérée comme un outil d’orientation. Pour les informations importantes, il demeure nécessaire de vérifier les faits dans des sources fiables. Pour un usage professionnel, il faut aussi tester les cas concrets qui comptent réellement : qualité du français, traitement des documents, cohérence sur une série de requêtes, respect d’instructions précises et capacité à reconnaître ses limites.

Sécurité, biais et responsabilité : les questions derrière la performance

L’essor des modèles avancés ne pose pas seulement la question de leur efficacité. Il soulève aussi des enjeux de sécurité, de biais et de confiance. Un système peut reproduire des stéréotypes présents dans les données sur lesquelles il a été entraîné. Il peut également produire des contenus inexacts, inappropriés ou insuffisamment prudents face à une demande sensible.

Dans ce contexte, la qualité perçue par un utilisateur ne recouvre pas tous les critères qui devraient guider le choix d’un outil. Les audits de sécurité sont fondamentaux, mais leur mise en œuvre relève largement des entreprises qui développent ces technologies. Le comparateur apporte une visibilité sur les réponses, pas une garantie globale sur les pratiques de chaque fournisseur.

Pour les administrations, les établissements scolaires, les entreprises ou les associations, l’adoption d’une IA doit ainsi reposer sur plusieurs niveaux d’évaluation. La capacité à produire du texte est un élément parmi d’autres. La protection des données, la possibilité de contrôler les usages, les coûts, la documentation disponible et la responsabilité humaine dans les décisions sont tout aussi déterminants.

Un possible levier pour les entreprises et les usages francophones

En confrontant directement les réponses des modèles, le comparateur peut aider les décideurs à repérer des outils susceptibles de correspondre à leurs besoins. Une petite entreprise cherchant à préparer des réponses clients, un service de communication souhaitant reformuler des contenus ou une équipe pédagogique explorant des supports de cours n’attendent pas forcément les mêmes résultats.

L’enjeu est aussi linguistique. Les usages de l’IA se développent dans des contextes culturels, professionnels et administratifs très différents. Recueillir des préférences d’utilisateurs francophones peut contribuer à mieux identifier les formulations, les références et les attentes qui comptent dans cet espace linguistique. L’objectif annoncé est précisément d’affiner l’évaluation des modèles à l’écoute de ces utilisateurs.

L’initiative pourrait ainsi encourager l’apparition d’applications davantage adaptées aux besoins des organisations françaises. Dans la santé, l’éducation ou d’autres secteurs, l’IA peut aider à organiser, résumer ou reformuler de l’information. Mais elle ne doit pas se substituer à l’expertise humaine, surtout lorsqu’une erreur peut avoir des conséquences importantes.

Comment tester utilement deux modèles d’IA

Un comparateur est d’autant plus instructif que les requêtes reflètent une tâche réelle. Pour dépasser le simple effet de surprise d’une première réponse, il est pertinent de tester plusieurs familles de demandes : explication, synthèse, reformulation, plan de document ou résolution d’un problème.

Quelques réflexes permettent de rendre l’exercice plus utile :

• demander un format précis, par exemple une liste, un tableau ou une réponse courte ;
• vérifier si le modèle répond à toutes les parties de la consigne ;
• tester une même tâche avec différents niveaux de détail ;
• repérer les affirmations factuelles et les contrôler avant de les réutiliser ;
• comparer non seulement le style, mais aussi les omissions, les ambiguïtés et les erreurs éventuelles.

Une réponse qui paraît meilleure à première lecture peut se révéler moins exploitable si elle ne respecte pas une contrainte essentielle. À l’inverse, une réponse plus modeste peut constituer une base de travail plus sûre si elle indique clairement ce qu’elle ne sait pas.

Ce qu’il faut surveiller

Le comparateur mis en place par le ministère de la Culture et la DINUM ouvre une voie intéressante : faire participer les utilisateurs à l’observation des modèles d’IA, plutôt que de réserver leur évaluation aux seuls laboratoires et grandes entreprises technologiques. Son intérêt dépendra de la diversité des requêtes soumises, de la qualité des retours et de la clarté avec laquelle les résultats seront interprétés.

À mesure que les modèles évolueront, la comparaison devra rester attentive à plusieurs questions : les classements reflètent-ils des usages variés ? Les réponses sont-elles évaluées sur leur exactitude autant que sur leur fluidité ? Les critères de sécurité et de confidentialité sont-ils suffisamment pris en compte ?

Pour le public comme pour les organisations, le principal apport de cet outil est peut-être de rappeler une évidence : choisir une IA ne revient pas à désigner un vainqueur universel. Il s’agit de confronter des résultats, de comprendre leurs forces et leurs faiblesses, puis de garder un regard humain sur les réponses produites.