OpenAI finance à Duke un « GPS moral » pour interroger l’éthique de l’IA

L’intelligence artificielle sait déjà classer des informations, produire du texte et formuler des recommandations. Peut-elle aussi éclairer un choix que l’on juge moralement difficile ? C’est la question, à la fois technique et philosophique, au cœur d’une subvention de 1 million de dollars accordée par OpenAI à une équipe de l’Université Duke. L’objectif affiché n’est pas de confier à une machine le soin de décréter le bien et le mal, mais d’étudier comment des algorithmes pourraient prédire, et potentiellement influencer, les jugements moraux humains.

Le projet, baptisé « Making Moral AI », est confié au laboratoire des attitudes et décisions morales de Duke, le MADLAB. Il est dirigé par le professeur d’éthique Walter Sinnott-Armstrong, avec la co-investigatrice Jana Schaich Borg. À la date du 24 décembre 2024, cette initiative illustre un déplacement important dans le débat sur l’IA : il ne s’agit plus seulement de rendre les systèmes plus performants, mais de comprendre les valeurs, les arbitrages et les risques qu’ils peuvent incorporer lorsqu’ils sont utilisés pour conseiller des humains.

Une subvention au croisement de la technologie et de la philosophie

Le financement d’OpenAI s’inscrit dans un champ de recherche où les réponses automatiques rencontrent des questions sans solution universelle. Une IA peut être entraînée à reconnaître des régularités dans de grandes quantités de données. Elle peut ainsi repérer que, face à certains scénarios, des groupes de personnes ont tendance à privilégier telle option plutôt que telle autre. Mais constater une préférence majoritaire ne signifie pas établir ce qui est moralement juste.

C’est précisément l’un des nœuds du projet de Duke. Les jugements moraux peuvent dépendre des conséquences d’une action, des intentions de la personne qui agit, des droits en jeu, des règles applicables ou encore du contexte culturel et social. Deux individus raisonnables peuvent parvenir à des conclusions différentes face au même dilemme, sans que l’un d’eux soit nécessairement irrationnel.

La somme annoncée ne transforme donc pas l’IA en arbitre moral. Elle donne des moyens à une équipe universitaire pour examiner une capacité beaucoup plus circonscrite, mais déjà délicate : modéliser les réactions et les raisonnements humains face à des choix éthiques.

Le projet « Making Moral AI » et l’idée d’un GPS moral

L’image d’un GPS moral est parlante. Un GPS routier ne conduit pas à la place de l’automobiliste : il propose un itinéraire à partir d’une destination, de cartes et de contraintes calculées. De manière comparable, l’outil envisagé par le MADLAB pourrait aider une personne à naviguer parmi des facteurs moraux concurrents, à expliciter les conséquences possibles d’une décision ou à signaler une tension éthique qu’elle n’avait pas identifiée.

L’analogie a cependant une limite essentielle. Sur la route, la destination est généralement définie à l’avance et les règles de circulation sont relativement précises. Dans une décision morale, le but lui-même peut faire débat. Faut-il donner la priorité à l’égalité, à la liberté individuelle, à la protection des plus vulnérables, à la loyauté envers un proche ou à la réduction globale d’un dommage ? Une IA ne peut pas éliminer ce désaccord par un simple calcul.

Le projet ambitionne ainsi d’explorer comment les algorithmes peuvent saisir les attitudes morales et les processus de décision. Les travaux associent plusieurs disciplines :

• l’informatique, pour concevoir et évaluer les algorithmes ;
• la philosophie, pour clarifier les notions de responsabilité, de valeurs et de justification ;
• la psychologie, pour étudier la manière dont les individus jugent et choisissent ;
• les neurosciences, pour approfondir l’étude des mécanismes impliqués dans les décisions humaines.

Cette approche interdisciplinaire est déterminante. La morale ne relève pas seulement d’une série de règles abstraites. Elle est aussi liée aux émotions, aux relations entre les personnes, aux expériences vécues et aux normes d’un environnement social.

Prédire un jugement n’est pas décider à la place d’un humain

L’intérêt d’un système capable d’anticiper des jugements moraux est compréhensible. Dans les secteurs où les décisions sont fréquentes, complexes et lourdes de conséquences, un outil peut structurer une réflexion ou attirer l’attention sur une dimension négligée. Le projet de Duke cite notamment des perspectives dans la médecine, le droit et les affaires.

En médecine, de nombreuses décisions demandent de mettre en balance des priorités difficiles : bénéfices attendus, risques, autonomie de la personne, équité dans l’accès aux soins. Dans le droit, les règles formelles ne font pas disparaître les questions d’interprétation, de proportionnalité ou de responsabilité. Dans les entreprises, des choix de pratiques commerciales peuvent opposer rentabilité, protection des clients, conditions de travail et impacts sociaux.

Les véhicules autonomes constituent un autre exemple régulièrement associé à l’éthique de l’IA. Lorsqu’un système doit réagir à une situation dangereuse, les scénarios théoriques soulignent la difficulté de traduire en instructions des arbitrages humains. Toutefois, un modèle qui reproduit les réponses les plus fréquentes à un questionnaire ne résout pas automatiquement le problème de la responsabilité ni celui de la norme à appliquer dans la réalité.

Un outil de conseil peut être utile s’il rend son raisonnement compréhensible, s’il présente les incertitudes et s’il laisse la décision à une personne ou à une institution responsable. À l’inverse, une IA à laquelle on déléguerait directement un choix moral risquerait de donner une apparence d’objectivité à des préférences qui restent discutables.

Qui choisit les valeurs inscrites dans l’algorithme ?

La question la plus importante ne porte pas uniquement sur les capacités techniques du système. Elle concerne le cadre moral que l’outil mettrait en œuvre. Qui décide des données utilisées pour entraîner l’algorithme ? Quels jugements sont retenus comme pertinents ? Comment traiter les désaccords entre populations, cultures ou contextes professionnels ? Et qui peut contester une recommandation jugée injuste ?

Ces interrogations sont centrales parce que la moralité varie selon les situations sociales et culturelles. Une IA entraînée sur des réponses trop homogènes risque de présenter une vision particulière du monde comme si elle était universelle. À l’inverse, un système qui refléterait toutes les opinions sans les distinguer pourrait aussi reproduire des préjugés, des discriminations ou des comportements nuisibles observés dans ses données.

Les biais ne sont pas nécessairement introduits volontairement. Ils peuvent provenir d’échantillons incomplets, de catégories mal définies, de données historiques marquées par des inégalités ou de choix de conception qui paraissent techniques mais orientent concrètement le résultat. Dans un domaine moral, ces biais sont particulièrement sensibles, car une recommandation algorithmique peut influencer le jugement d’un utilisateur.

Transparence et responsabilité, deux conditions essentielles

La recherche financée à Duke intervient dans un contexte où les outils d’IA sont de plus en plus présents dans les décisions quotidiennes et professionnelles. Lorsqu’un logiciel classe un dossier, hiérarchise des options ou propose une marche à suivre, son influence peut être réelle même si la décision finale est officiellement humaine. C’est pourquoi la confiance ne peut pas reposer sur la seule promesse de performance.

Pour être discuté sérieusement, un outil d’aide à la décision morale devrait au minimum permettre de savoir ce qu’il fait, dans quelles limites il fonctionne et à qui s’adresser en cas de problème. La transparence ne signifie pas nécessairement que chaque ligne de code est lisible par tous. Elle suppose plutôt que les critères importants, les données pertinentes, les marges d’incertitude et les responsabilités soient suffisamment explicites pour être examinés.

La responsabilité est tout aussi cruciale. Si une recommandation contribue à une décision préjudiciable, il ne suffit pas de renvoyer la faute vers « l’algorithme ». Des personnes et des organisations ont choisi son usage, ses objectifs, ses paramètres et le degré d’autonomie qui lui est laissé. Dans les domaines médical, juridique ou commercial, ces choix ne peuvent pas être réduits à une optimisation technique.

Le projet du MADLAB peut ainsi être lu comme une recherche sur la relation entre humains et systèmes intelligents, autant que sur la morale elle-même. Il pose la question de la confiance accordée à l’IA, mais aussi celle des conditions qui rendent cette confiance justifiée ou, au contraire, imprudente.

Ce qu’il faut surveiller

Le soutien d’OpenAI à l’Université Duke ouvre une piste de recherche ambitieuse, sans faire disparaître les difficultés fondamentales. Le succès d’un éventuel GPS moral ne se mesurera pas seulement à sa capacité à produire une recommandation convaincante. Il dépendra de la qualité des recherches menées sur les jugements humains, de la diversité des perspectives prises en compte et des garde-fous prévus contre les biais.

Il faudra notamment observer si les travaux distinguent clairement trois fonctions souvent confondues : décrire ce que les personnes pensent, prédire ce qu’elles vont décider et recommander ce qu’elles devraient faire. La première relève de l’observation, la deuxième de la modélisation, la troisième engage des choix normatifs qui doivent rester ouverts au débat public.

La collaboration entre informatique, philosophie, psychologie et neurosciences constitue à cet égard un point fort du projet. Elle rappelle qu’aucune discipline ne peut, seule, répondre à la question de la moralité artificielle. Les systèmes d’IA peuvent devenir des outils d’analyse et d’assistance. Mais les valeurs qu’ils mobilisent, les personnes qu’ils affectent et les institutions qui les déploient demeurent des responsabilités profondément humaines.