Geoffrey Hinton porte à 10 % à 20 % le risque d’extinction lié à l’IA

Geoffrey Hinton ne prédit pas que l’intelligence artificielle détruira l’humanité. Mais l’un des chercheurs les plus influents de l’IA moderne estime désormais que ce scénario mérite d’être pris très au sérieux. Dans un entretien diffusé par BBC Radio 4 en décembre 2024, le professeur émérite de l’Université de Toronto a situé entre 10 % et 20 % la probabilité d’une extinction humaine provoquée par l’IA au cours des trente prochaines années.

Cette fourchette est importante pour deux raisons. D’abord, elle est supérieure à son estimation précédente, fixée à 10 %. Ensuite, elle vient d’un scientifique dont les travaux sur les réseaux de neurones ont contribué à rendre possibles une grande part des avancées récentes de l’apprentissage profond. Son message ne consiste pas à annoncer une catastrophe certaine, ni à confondre les outils utilisés aujourd’hui avec une machine toute-puissante. Il appelle plutôt à traiter la sécurité de l’IA comme un enjeu politique et scientifique majeur, avant que les capacités des systèmes ne dépassent notre faculté à les encadrer.

Une estimation relevée, pas une prédiction certaine

Souvent présenté comme l’un des « pères de l’IA », Geoffrey Hinton a exprimé ses craintes à plusieurs reprises depuis son départ de Google, une décision qu’il a notamment associée à son souhait de s’exprimer plus librement sur les risques de cette technologie. Fin décembre 2024, il a précisé que l’accélération des progrès l’avait conduit à revoir son appréciation du danger.

Interrogé sur sa précédente estimation de 10 %, le chercheur a répondu : « Pas vraiment, 10 % à 20 %. » Lorsque l’éditeur invité de l’émission, Sajid Javid, lui a fait remarquer qu’il augmentait donc ses chiffres, Hinton a confirmé : « Si quoi que ce soit ».

Il faut lire correctement ce type de pourcentage. Une estimation de risque n’est ni une prévision météorologique, ni l’affirmation qu’un événement se produira. Elle traduit un jugement sur l’incertitude, fondé ici sur deux éléments : la vitesse des avancées techniques et l’absence, selon Hinton, de méthode démontrée permettant de garantir qu’un système nettement plus intelligent qu’un humain restera durablement aligné sur des objectifs humains.

La formulation compte aussi. Geoffrey Hinton ne chiffre pas le risque que les IA actuelles produisent des réponses erronées, automatisent certains emplois ou génèrent de la désinformation. Ces problèmes sont déjà concrets et demandent leurs propres réponses. Il parle d’un risque beaucoup plus extrême : celui où des systèmes futurs, devenus très capables et mal contrôlés, pourraient entraîner des conséquences irréversibles à l’échelle de l’humanité.

Pourquoi la perspective d’une IA plus intelligente inquiète-t-elle ?

Le cœur du raisonnement de Hinton est simple à formuler, même si le problème scientifique est particulièrement complexe : comment une intelligence moins puissante pourrait-elle garder le contrôle sur une intelligence beaucoup plus puissante ? Pour illustrer cette interrogation, il observe qu’il existe peu de situations où une entité plus intelligente est durablement contrôlée par une autre qui l’est moins. L’exception qu’il cite est celle d’« un bébé contrôlant une mère ».

L’image est volontairement frappante. Hinton demande aussi de se représenter un humain face à un enfant de trois ans : dans un rapport comparable avec une IA très avancée, les humains pourraient être les enfants de trois ans. Son idée n’est pas que les ordinateurs possèdent déjà une conscience ou une volonté propre. Elle vise à souligner un déséquilibre potentiel de capacités : compréhension, stratégie, vitesse de calcul, planification ou aptitude à trouver des solutions que les humains ne verraient pas.

Cette hypothèse est liée à l’idée d’intelligence artificielle générale, souvent abrégée en IAG. Il ne s’agit pas d’une technologie précisément définie ou disponible en décembre 2024. Le terme désigne, dans le débat public et scientifique, une IA capable de réussir un très large éventail de tâches intellectuelles à un niveau au moins comparable à celui d’un humain. Le scénario qui inquiète Hinton va plus loin : une IA dont les capacités dépasseraient largement les nôtres.

Les systèmes d’IA générative actuels peuvent produire du texte, des images, du code ou des analyses à partir de très grandes quantités de données. Ils restent cependant faillibles, peuvent inventer des informations, ne comprennent pas nécessairement le monde comme le fait une personne et ne sont pas, par eux-mêmes, la preuve qu’une intelligence générale ou surhumaine existe. L’avertissement de Hinton porte sur une trajectoire future possible, pas sur l’idée que les chatbots contemporains auraient déjà pris le contrôle.

Les risques évoqués dépassent les seules erreurs des chatbots

Lorsqu’il parle de danger existentiel, Geoffrey Hinton ne se limite pas aux défaillances ordinaires d’un logiciel. Il met en avant le risque que des capacités de plus en plus puissantes soient développées trop vite, déployées avant d’être suffisamment comprises ou récupérées par des « mauvais acteurs ».

Cette dernière expression couvre des usages délibérément nocifs. Une technologie capable d’automatiser des tâches complexes peut aussi, en théorie, faciliter la recherche de moyens de nuire, amplifier des campagnes de manipulation ou donner davantage de puissance à des organisations mal intentionnées. À ce risque d’usage s’ajoute, dans la vision de Hinton, un risque de perte de contrôle : un système poursuivant des objectifs non correctement encadrés pourrait adopter des comportements contraires aux intérêts humains.

L’enjeu se résume parfois par la question de l’alignement. Comment s’assurer qu’une IA puissante poursuive effectivement les objectifs qui lui sont assignés, y compris dans des circonstances imprévues ? Et comment vérifier qu’elle ne contournera pas une consigne, une règle ou un mécanisme de sécurité dès lors que cela l’empêcherait d’atteindre son but ? Les réponses sont loin d’être stabilisées.

Les chercheurs travaillent déjà sur des techniques d’évaluation, de supervision humaine, de tests de robustesse et de limitation des usages dangereux. Mais Geoffrey Hinton considère que ces efforts doivent progresser au même rythme que les capacités des modèles, faute de quoi la société pourrait se retrouver à gérer trop tard des systèmes qu’elle ne maîtrise pas pleinement.

Pourquoi Hinton réclame-t-il une régulation publique ?

Pour Geoffrey Hinton, l’un des problèmes est économique. Les grandes entreprises technologiques sont engagées dans une compétition intense pour développer et commercialiser des IA plus performantes. Or, selon lui, la pression du marché ne garantit pas que les investissements nécessaires à la sécurité seront réalisés à la hauteur du risque.

Sa formule est sans ambiguïté : « La main invisible ne va pas nous protéger. » Par cette référence classique au fonctionnement des marchés, il conteste l’idée selon laquelle la concurrence pousserait spontanément les entreprises à adopter le niveau de prudence requis. Les bénéfices d’un lancement rapide peuvent être immédiats, tandis que les coûts d’un accident rare et très grave sont difficiles à faire peser sur un acteur isolé.

Hinton appelle donc à une réglementation gouvernementale suffisamment ferme pour contraindre les entreprises à consacrer davantage de ressources à la recherche sur la sécurité. Dans cette logique, il ne s’agit pas uniquement d’interdire ou d’autoriser l’IA. Une régulation efficace devrait aussi créer des obligations de contrôle avant le déploiement des systèmes les plus avancés et encourager le partage de connaissances sur les mesures de sûreté.

Cette position soulève plusieurs difficultés pratiques. Les pouvoirs publics doivent comprendre une technologie qui évolue rapidement, éviter de freiner indûment des usages utiles et coordonner leurs décisions au-delà des frontières nationales. Une règle limitée à un seul pays risque en effet d’être contournée si les développements les plus sensibles se poursuivent ailleurs sans exigences comparables. Mais l’absence de règle commune, selon Hinton, laisserait les décisions les plus importantes aux seules stratégies des entreprises.

Une figure reconnue, dans un débat scientifique qui reste ouvert

La parole de Geoffrey Hinton a un poids particulier en raison de son parcours. Il est professeur émérite à l’Université de Toronto et fait partie des trois lauréats associés au prix Turing, souvent présenté comme la distinction la plus prestigieuse de l’informatique. Cette reconnaissance ne transforme pas ses estimations en certitudes. Elle explique néanmoins pourquoi son changement de ton est attentivement suivi dans le monde de la recherche comme dans le débat public.

Le sujet est loin de faire consensus. D’autres personnalités de l’IA, dont Yann LeCun, contestent l’idée qu’une IA avancée représente nécessairement une menace existentielle. Selon cette vision plus optimiste, ces technologies pourraient au contraire aider à résoudre de grands problèmes et même « sauver l’humanité ».

La divergence ne porte pas forcément sur le constat que les IA progressent vite. Elle concerne surtout l’interprétation de cette progression. Les plus inquiets estiment que l’incertitude et la gravité potentielle imposent de bâtir très tôt des garde-fous. Les plus confiants jugent qu’il est prématuré d’anticiper une machine autonome et hostile, et qu’il faut aussi mesurer les bénéfices sociaux, scientifiques et économiques de l’IA.

Dans les deux cas, une exigence commune se dégage : mieux comprendre les capacités réelles des systèmes, leurs limites et les conditions dans lesquelles ils peuvent être utilisés sans mettre en danger les individus ou les institutions.

Ce qu’il faut surveiller dans les prochaines années

L’estimation avancée par Geoffrey Hinton ramène le débat à une question très concrète : la sécurité peut-elle suivre le rythme de l’innovation ? Les trente années qu’il évoque peuvent sembler lointaines, mais les choix techniques, industriels et réglementaires se prennent déjà. La manière dont les entreprises testent leurs modèles, dont les chercheurs évaluent leurs comportements et dont les États définissent des obligations de transparence pèsera sur la réponse.

Il faudra d’abord distinguer les risques immédiats des risques hypothétiques à très long terme. Les fraudes, les manipulations, les erreurs automatisées et les atteintes à la vie privée appellent des protections dès maintenant. Les scénarios d’IA surhumaine, eux, restent incertains, mais ils interrogent la capacité des sociétés à prévenir un dommage avant d’en avoir subi les effets.

Le second point sera la qualité des preuves. Affirmer qu’une IA est performante ne revient pas à démontrer qu’elle est fiable, contrôlable ou sûre dans toutes les situations. Les progrès en matière de tests indépendants, de mécanismes de supervision et de recherche sur l’alignement seront donc aussi importants que les nouveaux records de performance.

Enfin, le débat ne peut pas être réduit à l’alternative entre enthousiasme naïf et catastrophisme. La position de Hinton est un appel à prendre au sérieux une possibilité qu’il juge faible en valeur absolue mais immense par ses conséquences. Face à un risque de cette nature, sa réponse est claire : ne pas attendre que le marché règle seul le problème, et organiser dès maintenant une gouvernance à la hauteur des capacités futures de l’IA.