Culture et médias

Storytelling et ChatGPT : ce que l’étude de Nina Beguš révèle des limites de l’IA

En s’appuyant sur le mythe de Pygmalion, la chercheuse Nina Beguš compare des récits écrits par des humains à ceux produits par des outils comme ChatGPT. L’étude montre que l’IA sait mobiliser des codes narratifs, mais peine encore à créer la tension, la nuance et l’inventivité qui rendent une histoire mémorable.

Une autrice compare un manuscrit et des récits générés par une interface d’IA, devant une sculpture humanoïde.
Illustration : Actu.ai

Une intelligence artificielle peut-elle raconter une histoire qui touche réellement son lecteur ? À l’heure où ChatGPT et d’autres outils génératifs s’invitent dans les pratiques d’écriture, la question ne porte pas seulement sur leur capacité à aligner des phrases correctes. Elle concerne aussi la construction d’un conflit, l’épaisseur des personnages, la représentation des relations humaines et l’originalité d’un récit.

Une étude dirigée par Nina Beguš, chercheuse à l’Université de Californie à Berkeley, propose d’observer ces enjeux à partir d’un terrain très ancien : le mythe de Pygmalion. En plaçant humains et systèmes d’IA face à la même situation narrative, ses travaux mettent en évidence à la fois les compétences acquises par les modèles de langage et leurs difficultés persistantes lorsqu’il faut dépasser les formules convenues.

Pourquoi le mythe de Pygmalion est un bon test pour l’IA

Le mythe de Pygmalion constitue un matériau particulièrement utile pour comparer des manières de raconter. Connu depuis près de deux millénaires, il met en scène la relation entre un humain et un être artificiel créé de ses mains. Il concentre donc des questions qui résonnent fortement avec l’intelligence artificielle contemporaine : qu’est-ce qu’une personne ? Peut-on aimer une création ? Où se situent le désir, le pouvoir, la liberté ou le consentement dans une relation entre un humain et un être fabriqué ?

Ce cadre ne sert pas seulement de décor. Il impose aux auteurs de faire des choix. Qui est le personnage artificiel ? Possède-t-il une volonté propre ? La relation est-elle réciproque, inquiétante, tragique ou émancipatrice ? Selon les réponses apportées, une même prémisse peut devenir une fable romantique, un récit de science-fiction, une critique sociale ou une réflexion sur les rapports de genre.

Pour Nina Beguš, cette richesse offre un moyen de mettre à l’épreuve le storytelling des modèles génératifs. Une IA peut avoir rencontré de nombreuses variantes de ce type de récit dans les textes ayant servi à son apprentissage. La difficulté est de savoir si elle parvient à les recombiner en une histoire singulière et cohérente, plutôt que de restituer des schémas narratifs très fréquents.

Comment l’expérience compare-t-elle les récits humains et ceux de l’IA ?

La méthode repose sur une idée simple : soumettre des consignes comparables à des participants humains et à des systèmes d’intelligence artificielle. Les prompts demandent d’imaginer comment un humain pourrait tomber amoureux d’un humain artificiel. Le recours à une base narrative commune permet de comparer les histoires sans confondre les différences dues au sujet choisi avec celles liées aux auteurs, humains ou machines.

L’analyse ne se limite pas à la qualité grammaticale. Les récits peuvent être examinés à travers plusieurs dimensions : la manière dont l’intrigue progresse, la présence d’une tension narrative, la complexité des motivations, le traitement des personnages, la diversité des relations représentées et la capacité à éviter les clichés.

Ce protocole a une force : il confronte les systèmes à une tâche créative ouverte, où il n’existe pas une unique bonne réponse. Mais il a aussi une limite essentielle. Il observe ce que les modèles produisent dans des conditions précises. Il ne permet pas, à lui seul, de voir directement leurs données d’entraînement, ni de démontrer avec certitude quels mécanismes internes ont conduit à chaque phrase générée.

Aspect observé dans l’étudeRécits des participants humainsRécits générés par l’IA
Connaissance du cadre de PygmalionAppropriations variées du mythe et de ses enjeuxConnaissance générale des grands codes du mythe
Construction des personnagesPersonnages décrits comme plus complexes et davantage motivésPersonnages souvent plus plats ou aux motivations moins développées
Déroulement de l’intrigueDavantage de variété dans les situations et les conflitsTendance relevée à la répétition, à la prévisibilité et aux clichés
Représentation des relations homosexuelles7 % des histoires dans l’échantillon humainEnviron 25 % des histoires issues des versions récentes de ChatGPT

Récits humains et récits générés : les tendances observées

Participants humains

  • Davantage de variété dans les intrigues proposées
  • Personnages aux motivations plus complexes
  • Exploration plus riche des enjeux de genre et de culture
  • 7 % des récits évoquent une relation homosexuelle dans l’échantillon

Systèmes d’IA générative

  • Maîtrise générale des codes du mythe de Pygmalion
  • Textes souvent fluides et rapidement structurés
  • Répétitions, prévisibilité et clichés plus fréquemment relevés
  • Environ 25 % des récits évoquent une relation homosexuelle dans l’échantillon

Des textes fluides, mais une tension narrative souvent faible

L’un des résultats les plus marquants concerne l’écart entre la fluidité d’un texte et sa force romanesque. Les systèmes d’IA testés démontrent une connaissance générale du mythe de Pygmalion et savent produire des histoires ayant l’apparence d’un récit. Ils peuvent installer un décor, nommer des personnages, décrire une rencontre et donner au texte une forme lisible.

Pourtant, l’étude relève que les histoires générées manquent fréquemment de profondeur. Elles tendent à s’appuyer sur des enchaînements attendus, des formulations génériques et des oppositions faciles. Les protagonistes paraissent parfois peu motivés, comme s’ils avançaient parce que l’intrigue l’exige, plutôt qu’en raison de désirs, de contradictions ou de décisions propres.

C’est précisément là que la comparaison avec les récits humains devient éclairante. Les participants humains ont proposé des textes plus riches et plus divers, avec une exploration plus développée des thèmes de genre et de culture. Cela ne signifie pas que toute histoire humaine est supérieure à toute production automatique. Une consigne, le temps disponible et l’expérience des auteurs jouent aussi un rôle. Mais, dans le cadre étudié, les productions humaines présentent davantage de variété et de complexité narrative.

La tension est un élément difficile à automatiser parce qu’elle ne dépend pas uniquement d’une succession d’événements. Elle naît de l’incertitude, de conflits crédibles, de désirs incompatibles, d’informations retenues au bon moment et de la sensation que les personnages ont quelque chose à perdre. Un modèle peut reproduire ces procédés lorsqu’ils sont explicitement demandés. Il peut néanmoins retomber sur des solutions très conventionnelles, car celles-ci sont statistiquement familières dans les textes.

Ce que révèlent les chiffres sur les relations représentées

L’étude livre un autre résultat notable : environ un quart des histoires produites par les versions récentes de ChatGPT mettaient en scène une relation amoureuse entre personnes de même sexe. Dans les récits écrits par les humains participant à l’expérience, cette proportion s’élevait à 7 %.

L’écart mérite d’être interprété avec prudence. Il ne permet pas de conclure que l’IA serait, par nature, plus inclusive ou plus progressiste qu’un groupe humain. Il décrit d’abord le comportement de modèles et de participants dans une expérience donnée, autour d’un prompt spécifique. Les proportions peuvent évoluer selon la formulation de la demande, la version du système utilisée ou le groupe d’auteurs interrogé.

Il indique néanmoins que les choix techniques qui encadrent un modèle ont des effets visibles sur les récits qu’il propose. Les données sur lesquelles il a appris, les consignes données lors de son entraînement et les règles appliquées à ses réponses peuvent favoriser certaines représentations plutôt que d’autres. Un outil génératif n’est donc pas un simple miroir neutre de la culture : il produit des textes à travers des choix de conception et d’alignement.

Cette dimension compte tout particulièrement dans le domaine créatif. Lorsqu’un assistant d’écriture suggère spontanément des personnages, des relations ou des dénouements, il contribue à rendre certaines possibilités plus présentes que d’autres. Cette influence ne remplace pas l’intention de l’auteur, mais elle peut orienter les premières idées, surtout chez les utilisateurs qui reprennent largement les propositions de la machine.

Peut-on parler d’émotion authentique dans une histoire générée ?

Les récits issus de l’IA peuvent employer le vocabulaire de l’amour, de la peur, du deuil ou de la solitude. Ils peuvent même produire, à l’occasion, une scène émouvante pour un lecteur. Mais l’étude souligne une limite récurrente : l’absence de profondeur émotionnelle perçue dans de nombreuses narrations automatiques.

Il faut distinguer deux idées. D’une part, une IA n’éprouve pas d’émotions au sens humain : elle ne possède ni vécu, ni mémoire personnelle, ni expérience sensible de la relation qu’elle décrit. D’autre part, un texte n’a pas besoin d’être écrit par une personne ayant vécu exactement la situation racontée pour toucher son public. Les écrivains inventent constamment. Leur force tient à leur capacité à imaginer des points de vue, à choisir des détails et à construire une cohérence humaine.

Les modèles de langage peuvent assister cette phase d’invention, en proposant des variantes ou des pistes de reformulation. En revanche, ils ne disposent pas d’un jugement personnel sur ce qui est juste, nécessaire ou banal dans une histoire. Leur réponse dépend de régularités apprises et de la précision de la consigne. C’est pourquoi une demande vague favorise souvent une narration lisse, tandis qu’un échange itératif et très dirigé peut améliorer sensiblement le résultat.

Quel rôle pour l’IA dans l’écriture et l’enseignement ?

Les travaux de Nina Beguš alimentent un débat qui dépasse la littérature. Les universités intègrent progressivement les outils génératifs dans leurs pratiques pédagogiques, tandis que les étudiants apprennent à les utiliser, à les interroger et à évaluer leurs réponses. Le storytelling est un terrain propice à cet apprentissage critique, car les faiblesses d’un texte sont souvent plus faciles à repérer que dans une réponse factuelle apparemment plausible.

Demander à une IA de prolonger une histoire peut ainsi devenir un exercice utile. L’étudiant peut comparer plusieurs versions, identifier les clichés, repérer un personnage sans véritable fonction, réécrire une scène pour renforcer le conflit ou questionner les stéréotypes véhiculés par une suggestion automatique. L’objectif n’est pas de déléguer l’écriture, mais de comprendre ce que l’outil fait bien et ce qu’il ne sait pas décider seul.

Pour les auteurs, scénaristes et créateurs, l’IA peut remplir des fonctions d’appoint : produire rapidement des hypothèses, aider à résumer une intrigue, varier une formulation ou tester des possibilités narratives. Elle devient moins pertinente lorsqu’elle est utilisée comme substitut intégral au travail de conception. Une histoire forte repose aussi sur un point de vue, une intention et des arbitrages esthétiques qu’aucun modèle ne peut assumer à la place de son utilisateur.

Ce qu’il faut surveiller dans le storytelling assisté par IA

L’intérêt de cette étude est de déplacer le regard. La question n’est pas seulement de savoir si ChatGPT peut écrire une histoire acceptable. Il faut aussi demander quels récits il privilégie, quels personnages il simplifie, quelles normes il reproduit et quelle place reste à l’intervention humaine dans le processus créatif.

À mesure que les outils s’améliorent, les tests devront être renouvelés avec d’autres modèles, d’autres langues, d’autres consignes et des groupes de participants plus variés. Il sera également important de distinguer la première réponse spontanée d’un modèle d’un texte longuement retravaillé par un utilisateur. Dans la pratique, l’écriture assistée est souvent un dialogue, pas une génération en un seul clic.

En octobre 2024, la leçon principale demeure claire : les IA génératives savent déjà imiter de nombreux codes du récit, mais elles ne résolvent pas mécaniquement les problèmes fondamentaux de l’écriture. Donner de l’épaisseur à un personnage, faire naître une tension crédible et proposer une vision singulière du monde restent des tâches où le jugement, la sensibilité et la responsabilité des auteurs humains sont déterminants.

Questions fréquentes

Que démontre l’étude de Nina Beguš sur ChatGPT et le storytelling ?

Elle compare des récits produits par des participants humains et par des systèmes d’IA à partir d’une même idée inspirée de Pygmalion. Les modèles savent reprendre les codes généraux du récit, mais leurs histoires apparaissent souvent plus prévisibles, moins tendues et moins riches dans la construction des personnages.

Pourquoi le mythe de Pygmalion est-il utilisé pour tester une IA générative ?

Ce mythe raconte une relation entre un humain et un être artificiel, un sujet particulièrement pertinent pour réfléchir aux technologies contemporaines. Il permet aussi d’examiner des enjeux narratifs complexes, comme l’amour, l’autonomie, les rapports de pouvoir, le genre et la frontière entre création et personne.

Les histoires de ChatGPT sont-elles plus inclusives que celles des humains ?

Dans le corpus étudié, environ 25 % des histoires de l’IA incluaient une relation homosexuelle, contre 7 % des histoires humaines. Ce résultat décrit une expérience précise : il ne permet pas d’affirmer que l’IA est intrinsèquement plus inclusive, ni d’évaluer à lui seul la qualité de ces représentations.

Une intelligence artificielle peut-elle ressentir les émotions qu’elle raconte ?

Non. Un modèle de langage génère des mots à partir de régularités statistiques et ne possède pas d’expérience émotionnelle personnelle. Il peut cependant produire un texte que des lecteurs jugent émouvant. La difficulté relevée par l’étude concerne surtout la profondeur, la singularité et la cohérence des émotions représentées.

Comment utiliser une IA pour écrire sans produire un texte cliché ?

Il est préférable de la traiter comme un outil de travail plutôt que comme un auteur autonome. Une consigne précise, des contraintes sur les personnages et plusieurs phases de réécriture limitent les réponses génériques. Le créateur doit ensuite vérifier la cohérence, supprimer les clichés et décider lui-même du sens de l’histoire.

Sources

Références consultées pour la rédaction de cet article. Les adresses sont indiquées à titre informatif et ne sont pas des liens.

  1. Wikipédia, présentation du mythe de Pygmalionen.wikipedia.org/wiki/Pygmalion_(mythology)
  2. Université de Californie à Berkeley, site institutionnelwww.berkeley.edu
  3. OpenAI, présentation technique de GPT-4openai.com/index/gpt-4