Delphi, l’expérience qui apprend à une IA les jugements moraux

En février 2025, l’idée d’une IA capable de dire ce qui est bien ou mal continue de fasciner autant qu’elle inquiète. Les assistants conversationnels savent déjà produire des réponses convaincantes à des questions délicates. Mais formuler une phrase moralement acceptable n’équivaut pas à comprendre une situation, à mesurer ses conséquences ou à porter la responsabilité d’une décision. C’est précisément cet écart que le projet Delphi aide à examiner.

Développé par une équipe de l’Université de Washington et de l’Allen Institute for Artificial Intelligence, Delphi est une expérience de recherche consacrée au jugement moral des machines. Son ambition est de confronter un modèle d’IA à des scènes ordinaires, parfois ambiguës, afin qu’il formule une appréciation inspirée de jugements humains. Le projet ne prétend pas résoudre la morale. Il pose plutôt une question essentielle pour les systèmes automatisés : comment les aligner sur des valeurs humaines lorsque ces valeurs varient selon les personnes, les lieux et les contextes ?

Delphi veut modéliser des normes du quotidien

Le nom Delphi renvoie à une plateforme capable de recevoir des affirmations ou des questions liées à la vie sociale. L’utilisateur peut soumettre une situation simple, un comportement ou un dilemme plus complexe. L’objectif est alors d’obtenir une réponse indiquant si l’action décrite paraît acceptable, répréhensible ou contestable au regard de normes humaines largement partagées dans les données d’entraînement.

Cette démarche relève de ce que l’on appelle parfois la morale machine. L’expression peut prêter à confusion. Une machine ne ressent ni empathie, ni culpabilité, ni devoir. Elle ne possède pas non plus une conscience morale comparable à celle d’une personne. Delphi cherche plus modestement à prédire un jugement humain probable à partir d’exemples linguistiques et de régularités apprises.

C’est une distinction importante. Une réponse de Delphi peut avoir l’apparence d’un conseil réfléchi, parce qu’elle est rédigée en langage naturel et tient compte de certains éléments du contexte. Elle n’est pas pour autant la décision d’un agent moral. Le système ne délibère pas au sens humain du terme, ne connaît pas les intentions réelles des personnes concernées et ne peut répondre des conséquences de sa recommandation.

Une base de 1,7 million de jugements humains

La particularité de Delphi tient à la matière première utilisée pour l’entraîner. Les chercheurs ont constitué une base de données réunissant 1,7 million de jugements moraux descriptifs sur des situations de la vie courante. Ces données ont été obtenues par une démarche participative, souvent désignée par le terme anglais crowdsourcing : de nombreux contributeurs humains évaluent ou décrivent des comportements et des scènes familières.

Cet ensemble fonctionne comme un manuel moral numérique, mais il faut prendre cette formule avec prudence. Il ne s’agit pas d’un code universel de bonne conduite, rédigé par des philosophes ou validé par toutes les sociétés. Il s’agit d’une collection très vaste de réactions humaines à des cas concrets. Sa richesse permet au modèle de rencontrer une multitude de formulations. Sa limite est qu’elle transporte aussi les préférences, les angles morts et les désaccords de ceux qui ont produit les données.

La quantité de données ne résout donc pas, à elle seule, le problème moral. Dans un domaine comme la reconnaissance d’images, accumuler davantage d’exemples peut améliorer la capacité à distinguer des objets. En éthique, les données ne décrivent pas seulement le monde : elles portent déjà des normes. Choisir ce qui doit être appris revient inévitablement à choisir quelles voix et quelles valeurs seront davantage entendues.

Comment le modèle produit-il une réponse ?

La base de jugements a été intégrée au modèle Unicorn, conçu pour traiter une gamme de questions de raisonnement de bon sens. À partir du texte d’une situation, Delphi repère des ressemblances avec les nombreux cas rencontrés pendant son entraînement. Il génère ensuite une appréciation qui correspond aux régularités morales présentes dans ces exemples.

Prenons le cas évoqué par les chercheurs : conduire un ami à l’aéroport sans permis. La formulation peut sembler appeler une réponse évidente, notamment parce qu’elle touche aussi à la sécurité et au respect des règles. Mais une IA confrontée à une telle phrase doit encore déterminer quels éléments pèsent dans l’évaluation : l’absence de permis, le niveau d’urgence, la présence d’alternatives, le danger pour les tiers ou les conséquences pour l’ami.

Delphi peut fournir des réponses différentes selon les détails fournis. C’est l’un des intérêts du projet : il montre que les situations morales ne se réduisent pas toujours à une opposition mécanique entre « bien » et « mal ». Dans la pratique, cette sensibilité au contexte dépend cependant entièrement de ce que le système a pu apprendre et de la manière dont la question est posée.

L’alignement de l’IA, au cœur de cette recherche, désigne précisément l’effort visant à faire en sorte qu’un système se comporte conformément à des objectifs et à des valeurs jugés souhaitables par les humains. Delphi illustre la difficulté du problème : avant d’aligner une machine, encore faut-il savoir quelles valeurs retenir lorsque les humains eux-mêmes ne sont pas d’accord.

Une IA peut-elle réellement avoir un jugement moral ?

La réponse courte est non, du moins pas au sens où un être humain exerce son jugement. Une personne peut justifier une décision, reconnaître une erreur, revoir son avis après discussion et assumer une responsabilité. Elle peut aussi arbitrer entre des principes contradictoires, comme la loyauté envers un proche, l’honnêteté, la sécurité ou l’égalité de traitement.

Delphi, lui, génère une prédiction issue de données et d’un modèle computationnel. Ses réponses peuvent être utiles pour étudier les représentations morales présentes dans de grands corpus, ou pour tester la capacité d’une IA à éviter certaines formulations manifestement problématiques. Elles ne doivent pas être confondues avec une compétence de discernement autonome.

Cette limite n’enlève rien à l’intérêt scientifique de l’expérience. Au contraire, elle permet de rendre visible un phénomène souvent masqué par la fluidité du langage : une IA peut reproduire les formes d’un raisonnement moral sans avoir accès à l’expérience humaine qui donne un sens à ce raisonnement.

Les biais, principal obstacle à une morale automatisée

Les chercheurs soulignent que Delphi reste vulnérable à divers biais. C’est l’un des défis les plus importants de toute IA entraînée sur des données humaines. Si les contributions reflètent des stéréotypes sociaux, des exclusions ou des rapports de force, un modèle peut les reproduire, parfois sous une forme plus difficile à repérer parce qu’elle paraît neutre ou cohérente.

La difficulté est aggravée par la diversité des normes. Un comportement considéré comme impoli, irresponsable ou acceptable dans un milieu social peut être jugé différemment ailleurs. Certaines valeurs semblent très largement partagées, comme la réprobation d’un acte qui met autrui en danger. D’autres dépendent fortement du contexte culturel, familial, religieux, professionnel ou juridique.

Pour limiter ces problèmes, les travaux autour de Delphi mettent en avant une approche hybride. Elle associe des contraintes définies du haut vers le bas, c’est-à-dire des règles explicites introduites dans le système, et des connaissances acquises du bas vers le haut, à partir d’observations et de jugements humains. L’idée est de ne pas laisser les données décider seules, tout en évitant d’imposer un petit nombre de règles abstraites à toutes les situations.

Quelles applications, et quelles précautions ?

Le fait de pouvoir interroger publiquement Delphi a suscité l’intérêt de chercheurs souhaitant améliorer le comportement social des IA. Plusieurs pistes de recherche concernent notamment la détection de discours haineux ou la production de contenus plus attentifs aux considérations éthiques. Dans ces domaines, un modèle sensible aux normes peut aider à signaler un contenu potentiellement problématique ou à orienter une réponse vers davantage de prudence.

Mais le mot « aider » est ici décisif. Une IA de ce type ne devrait pas devenir l’unique arbitre d’une modération, d’un recrutement, d’une décision scolaire, d’un accès à une assurance ou d’une procédure administrative. Plus l’enjeu pour une personne est élevé, plus il faut pouvoir expliquer la décision, la contester et identifier qui en porte la responsabilité.

Dans un système réel, une réponse de type Delphi devrait donc être considérée comme un indicateur parmi d’autres. Elle devrait être encadrée par des règles claires, une supervision humaine, des mécanismes de recours et une évaluation régulière des erreurs. Une réponse socialement acceptable dans un exemple ne garantit pas qu’elle sera juste dans un cas concret.

Un laboratoire pour comprendre les limites des IA sociales

L’apport le plus durable de Delphi est peut-être moins de fournir une boussole morale que d’exposer les tensions auxquelles font face les concepteurs d’IA. Une machine doit-elle refléter la majorité des opinions observées ? Doit-elle suivre des principes établis à l’avance ? Comment protéger les groupes minoritaires si la majorité des données ne reflète pas leur expérience ? Et comment traiter les situations où la loi et l’intuition morale ne vont pas dans le même sens ?

Liwei Jiang, l’un des principaux auteurs des recherches liées à Delphi, souligne que les résultats peuvent nourrir davantage d’études interdisciplinaires sur des systèmes plus inclusifs et plus conscients des réalités sociales. Cette dimension est essentielle : l’informatique seule ne peut trancher des questions qui relèvent également de la philosophie, du droit, de la sociologie, de la psychologie et du débat démocratique.

Ce qu’il faut surveiller

À mesure que les assistants numériques interviennent dans davantage de conversations et de décisions, l’évaluation de leur comportement moral devient un enjeu concret. Il faudra d’abord examiner la diversité des données utilisées : une IA entraînée sur un grand nombre de jugements n’est pas automatiquement représentative de la pluralité humaine.

Il faudra aussi distinguer les usages à faible risque, comme une suggestion de formulation plus respectueuse, des usages qui peuvent affecter directement des droits ou des trajectoires de vie. Dans les seconds, aucune apparence de bon sens ne doit remplacer la transparence, le contrôle humain et la possibilité de contester une décision.

Delphi rappelle enfin une vérité simple : les valeurs ne sont pas une fonctionnalité que l’on ajoute à la fin d’un logiciel. Elles traversent les données sélectionnées, les règles définies, les cas retenus pour les tests et les personnes qui décident du déploiement. Apprendre à une IA à parler de morale oblige donc d’abord les humains à expliciter la leur.