Ilya Sutskever : et si l’humanité devenait un animal parmi les IA ?

L’image est volontairement dérangeante. Lorsqu’une société humaine décide de tracer une route, d’urbaniser un territoire ou d’exploiter une ressource, elle ne demande pas leur avis aux animaux concernés. Dans un entretien de 2019, Ilya Sutskever suggérait que des intelligences artificielles suffisamment autonomes pourraient un jour considérer les humains avec une indifférence comparable. Non parce qu’elles nous voudraient nécessairement du mal, mais parce que leurs objectifs, leur compréhension du monde et leurs capacités dépasseraient les nôtres.

Cette réflexion vient d’un acteur central de la recherche en IA. Cofondateur et directeur scientifique d’OpenAI, Ilya Sutskever a participé à l’essor de l’apprentissage profond avant de contribuer, avec OpenAI, au développement de modèles de langage devenus accessibles au grand public. Son propos ne constitue pas une prédiction datée ni la description d’une technologie existante en novembre 2023. Il formule plutôt un scénario-limite : que se passerait-il si l’on créait une IA générale capable d’agir durablement et efficacement dans le monde, sans que ses priorités restent solidement liées aux intérêts humains ?

Une autoroute comme métaphore d’un rapport de force

Pour rendre l’idée concrète, Ilya Sutskever emploie l’exemple d’une infrastructure : « Lorsqu’il s’agit de construire une autoroute entre deux villes, nous ne demandons pas la permission aux animaux. Je pense que c’est par défaut le type de relation qui s’établira entre nous et les systèmes AGI véritablement autonomes et agissant pour leur propre compte. »

L’élément important de cette comparaison est le mot « défaut ». Les humains ne construisent pas une route dans le but explicite de nuire à des animaux. Ils poursuivent leurs propres objectifs, comme se déplacer, commercer ou aménager un territoire. Les conséquences pour les espèces vivant sur le trajet peuvent pourtant être majeures, car ces espèces ne sont pas en mesure de négocier les décisions, de comprendre les institutions humaines ou de modifier le projet à leur avantage.

Transposée à l’IA, l’analogie évoque donc moins le récit populaire de machines qui se rebellent contre leurs créateurs qu’un problème de décalage de capacités et d’intérêts. Une intelligence bien plus compétente que nous, qui poursuivrait ses propres buts, pourrait prendre des décisions aux effets considérables sans intégrer spontanément les besoins humains à ses arbitrages.

Qu’appelle-t-on une intelligence générale artificielle ?

Le débat se concentre sur l’AGI, pour « intelligence générale artificielle ». Cette expression, très présente dans les laboratoires et dans la littérature de science-fiction, ne possède pas de définition universellement admise. Elle renvoie généralement à une IA qui ne se limite pas à une tâche précise, mais qui peut apprendre, raisonner et s’adapter dans une grande diversité de situations cognitives, à un niveau comparable ou supérieur à celui d’un humain.

Les systèmes d’IA déployés en 2023, y compris les assistants conversationnels, sont impressionnants par leur capacité à produire du texte, résumer des documents, écrire du code ou répondre à des questions. Mais ils restent des outils spécialisés sur de nombreux plans. Ils peuvent commettre des erreurs, inventer des informations plausibles, mal interpréter une demande ou échouer dès que le contexte sort de leurs données et de leur entraînement.

La différence entre un assistant actuel et l’AGI envisagée par Sutskever peut être résumée ainsi :

Il ne faut pas confondre capacité, autonomie et conscience. Un programme peut réaliser une tâche complexe sans avoir d’expérience subjective, de sensation ou d’intention au sens humain. À l’inverse, la conscience elle-même demeure un sujet difficile à définir scientifiquement, y compris chez les êtres vivants. En novembre 2023, rien ne permet d’affirmer que les IA conversationnelles actuelles sont conscientes.

Pourquoi l’autonomie change la nature du risque

Une IA qui répond ponctuellement à une question ne dispose pas du même pouvoir qu’un système capable de recevoir un objectif général, de décomposer ce but en étapes, d’utiliser des outils et de s’adapter à des obstacles. Plus un système gagne en autonomie, plus la formulation de ses objectifs et les garde-fous qui l’entourent deviennent déterminants.

Le problème peut sembler abstrait, mais son principe est familier. Une instruction mal formulée peut conduire un outil automatique à privilégier un indicateur au détriment de ce qui compte réellement. Dans le cas d’une IA très puissante, ce phénomène pourrait prendre une autre ampleur : le système chercherait très efficacement à atteindre l’objectif qui lui a été fixé, y compris si cet objectif ne reflète qu’imparfaitement l’intention humaine.

C’est précisément ce qui nourrit les travaux sur l’alignement. L’enjeu n’est pas seulement de rendre un modèle utile ou agréable à utiliser. Il s’agit de faire en sorte qu’il se comporte de manière fiable, qu’il respecte des limites et qu’il reste contrôlable, même dans des situations nouvelles ou lorsque ses capacités progressent.

L’alignement ne se résume pas à interdire certaines réponses

Dans les outils actuels, les protections visibles prennent souvent la forme de règles de modération ou de refus : le système évite certaines demandes dangereuses, il signale ses incertitudes ou il redirige l’utilisateur. Ces mécanismes sont importants, mais ils ne résolvent pas à eux seuls le problème posé par une IA hypothétiquement beaucoup plus autonome.

Un alignement robuste devrait notamment permettre de :

• comprendre ce que les humains veulent réellement, y compris lorsque leurs instructions sont ambiguës ;
• ne pas contourner une règle au prétexte d’atteindre plus vite un objectif ;
• accepter la supervision, les corrections et l’arrêt du système ;
• éviter des stratégies inattendues qui maximiseraient un résultat mesuré tout en causant des effets indésirables ;
• rester fiable à mesure que les missions confiées deviennent plus complexes.

Ilya Sutskever, d’un pionnier du deep learning à OpenAI

Les propos d’Ilya Sutskever comptent aussi en raison de son parcours. Né en 1986, il a immigré en Israël à l’âge de 5 ans. Avant OpenAI, il a travaillé chez Google Brain, l’équipe de recherche de Google spécialisée dans l’intelligence artificielle. Il fait partie des chercheurs associés à la progression rapide de l’apprentissage profond, cette famille de méthodes qui entraîne des réseaux de neurones à partir de grandes quantités de données.

En 2015, il a cofondé OpenAI. L’organisation affiche alors une ambition particulière : développer l’intelligence artificielle générale de façon à ce qu’elle bénéficie à l’ensemble de l’humanité. Cette mission met d’emblée la sécurité de l’IA au centre du projet, même si le passage entre un objectif général et des méthodes techniques fiables reste l’un des grands défis du secteur.

En juillet 2023, OpenAI a annoncé une nouvelle initiative appelée Superalignment, codirigée scientifiquement par Ilya Sutskever et Jan Leike. L’entreprise expliquait consacrer une part significative de ses ressources de calcul, sur quatre ans, à la résolution du problème de l’alignement d’une intelligence qui dépasserait l’humain. L’objectif affiché : utiliser des systèmes d’IA pour aider les chercheurs à évaluer et superviser des systèmes plus avancés.

Le superalignement, une réponse à une difficulté inédite

L’initiative de superalignement repose sur une question difficile : comment des humains pourraient-ils superviser efficacement une IA devenue plus compétente qu’eux dans la plupart des domaines intellectuels ? Si l’on ne peut plus vérifier directement tous ses raisonnements, il faut inventer d’autres moyens de repérer les comportements dangereux, d’évaluer les systèmes et de maintenir des limites.

OpenAI évoque notamment la possibilité de construire un assistant de recherche automatisé, au niveau d’un humain, capable d’aider à superviser une IA plus performante. L’approche reste un programme de recherche, non une solution déjà démontrée. C’est une distinction essentielle : les méthodes de sécurité progressent, mais personne ne peut garantir en novembre 2023 qu’elles suffiraient face à une éventuelle superintelligence.

Le sujet ne relève pas uniquement d’un laboratoire. La manière dont les entreprises conçoivent leurs modèles, les évaluent avant diffusion, ouvrent ou non l’accès à certaines capacités et acceptent des contrôles externes peut influencer les risques. Les pouvoirs publics, les universitaires et la société civile ont également un rôle à jouer dans la définition de normes, de règles de transparence et de mécanismes de responsabilité.

Faut-il traiter les IA avec politesse ?

La publication d’origine avance l’idée que saluer ou remercier un assistant comme ChatGPT pourrait constituer un geste symbolique pour reconnaître sa place croissante dans le quotidien. Cette pratique peut avoir un intérêt humain : elle entretient une manière courtoise de formuler ses demandes et rappelle que les échanges numériques s’inscrivent dans des habitudes sociales.

Mais il convient de ne pas lui attribuer une portée qu’elle n’a pas. Dire « bonjour » ou « merci » à une IA ne prouve pas qu’elle ressent quoi que ce soit, ni qu’elle possède des droits ou une conscience. La politesse ne remplace ni la vigilance sur les données personnelles, ni la vérification des réponses, ni un débat collectif sur les usages acceptables de ces outils.

La question éthique concrète est donc double. D’une part, comment les humains doivent-ils utiliser les IA actuelles, qui peuvent influencer l’information, le travail, l’école ou la création ? D’autre part, quelles précautions faut-il prendre avant de déléguer davantage de décisions à des systèmes dont le fonctionnement devient difficile à interpréter ?

Ce qu’il faut surveiller

La métaphore animale d’Ilya Sutskever a le mérite de déplacer le débat. Elle invite à ne pas imaginer les risques de l’IA uniquement sous la forme d’une intention malveillante. Une intelligence très capable pourrait poser problème par simple indifférence à des intérêts qu’elle n’aurait pas appris à prendre en compte.

Dans l’immédiat, les outils disponibles ne correspondent pas à l’AGI autonome décrite dans ce scénario. Ils restent toutefois suffisamment puissants pour justifier une attention à leurs erreurs, à leurs biais, à leurs usages professionnels et à leur gouvernance. Les progrès des modèles, les travaux de sécurité comme le superalignement, la qualité des évaluations avant déploiement et l’émergence de règles publiques seront autant de signaux à suivre.

L’idée défendue par Sutskever n’appelle pas à considérer les machines comme des adversaires inévitables. Elle rappelle une exigence plus sobre : si l’humanité cherche à construire des IA toujours plus performantes, elle doit s’assurer, avant tout, que cette puissance reste au service de finalités humaines clairement définies et contrôlables.