Yoshua Bengio alerte sur des IA plus puissantes que l’humain et appelle à les encadrer

L’intelligence artificielle est devenue en quelques années un outil courant pour rédiger, programmer, traduire, créer des images ou analyser des données. Mais, pour Yoshua Bengio, l’accélération de ses capacités impose une question bien plus vaste que celle de la performance : comment s’assurer que ces systèmes restent utiles, prévisibles et sous contrôle humain ? Le chercheur canadien redoute que la course aux modèles les plus puissants prenne de vitesse les règles de sécurité et les institutions chargées de les faire respecter.

L’avertissement est formulé de façon volontairement frappante : « Nous sommes en train de créer des monstres plus puissants que nous. » Il ne signifie pas que les assistants numériques actuels seraient des êtres conscients ou animés d’intentions propres. Il traduit plutôt une inquiétude de long terme : des systèmes dotés de capacités très supérieures à celles des humains dans certains domaines pourraient poursuivre des objectifs mal définis, être détournés à grande échelle, ou rendre des décisions difficiles à superviser.

Pourquoi Yoshua Bengio est-il une voix écoutée sur l’IA ?

Yoshua Bengio compte parmi les grandes figures scientifiques de l’intelligence artificielle moderne. Ses travaux sur les réseaux de neurones et l’apprentissage profond ont contribué à rendre possibles les progrès qui alimentent aujourd’hui les assistants conversationnels, la reconnaissance d’images et de nombreux outils de traduction ou de génération de contenu.

En 2018, il a reçu le prix Turing, souvent présenté comme la plus haute distinction de l’informatique, avec Geoffrey Hinton et Yann LeCun. L’Association for Computing Machinery les a récompensés pour des idées et des avancées qui ont fait de l’apprentissage profond un élément central de l’informatique contemporaine.

L’apprentissage profond consiste à entraîner des réseaux de neurones artificiels sur de très grandes quantités de données. Ces réseaux ajustent un très grand nombre de paramètres afin de reconnaître des régularités : les liens entre les mots dans un texte, les contours dans une image, ou les séquences utiles à une prédiction. Les grands modèles de langage, tels que ceux qui alimentent les agents conversationnels, reposent sur cette famille de techniques.

Cette position particulière explique la portée de ses prises de parole. Yoshua Bengio ne critique pas l’IA depuis l’extérieur : il a contribué à bâtir les fondations scientifiques des systèmes actuels. Son propos consiste précisément à dire que le succès technique ne dispense pas d’évaluer les conséquences sociales et les limites de sûreté.

Que veut dire l’expression « monstres plus puissants que nous » ?

La métaphore employée par Yoshua Bengio porte sur le rapport de force possible entre l’être humain et des systèmes futurs. Dans ce débat, le mot « puissant » ne renvoie pas uniquement à la vitesse de calcul. Il peut désigner la capacité à influencer des personnes, traiter des volumes massifs d’informations, automatiser des tâches complexes, concevoir du code, ou agir par l’intermédiaire d’outils numériques.

La préoccupation centrale est celle du contrôle. Un système d’IA est entraîné à optimiser un objectif ou à répondre à des instructions. Or, dans des situations complexes, une consigne imprécise, des données biaisées ou une mauvaise évaluation des effets réels peuvent produire des comportements indésirables. Plus un outil est déployé à grande échelle et connecté à des services sensibles, plus les conséquences potentielles d’une erreur augmentent.

Il faut distinguer cette inquiétude de plusieurs idées souvent confondues :

• Les IA génératives disponibles en 2024 ne sont pas des personnes et rien ne permet d’affirmer qu’elles possèdent une conscience.
• Elles peuvent déjà commettre des erreurs, inventer des informations ou reproduire des biais présents dans leurs données d’entraînement.
• Le risque le plus immédiat provient souvent des usages humains : fraude, désinformation, surveillance abusive, manipulation ou automatisation de décisions injustes.
• Les scénarios de systèmes très autonomes et supérieurs aux humains dans la plupart des domaines restent hypothétiques, mais ils motivent une partie des recherches sur la sécurité de l’IA.

Pour Yoshua Bengio, attendre qu’un système dangereux soit déjà largement déployé serait une mauvaise méthode. L’enjeu est donc d’intégrer la prudence dès la conception, puis de soumettre les modèles les plus capables à des évaluations indépendantes avant leur diffusion.

Un moratoire sur les IA les plus avancées, pour quoi faire ?

En mars 2023, l’organisation Future of Life Institute a publié une lettre ouverte appelant les laboratoires à observer une pause d’au moins six mois dans l’entraînement de systèmes d’IA plus puissants que GPT-4. Yoshua Bengio figurait parmi les signataires, tout comme Elon Musk et de nombreuses personnalités du monde de la technologie et de la recherche.

Cette convergence ne signifie pas que ces acteurs partagent les mêmes positions sur tous les sujets, ni qu’ils ont mené ensemble des travaux de recherche. Elle illustre toutefois un constat commun : la compétition entre entreprises peut pousser à commercialiser des capacités nouvelles avant que leurs risques aient été correctement testés.

La lettre ne demandait pas de renoncer à l’IA ni d’interdire les outils existants. Elle plaidait pour un temps de préparation afin de mettre en place des protocoles de sécurité partagés, des mécanismes de contrôle, des évaluations des risques et des règles publiques. L’idée est de ne pas laisser la définition des garde-fous à la seule appréciation des entreprises qui développent les modèles.

Quels risques pour la société et l’économie ?

La mise en garde de Yoshua Bengio ne concerne pas seulement une hypothétique IA très générale. Elle recouvre des effets déjà observables ou plausibles à mesure que les outils se diffusent. Les intelligences artificielles peuvent accroître la productivité, accélérer la recherche scientifique et assister des professionnels. Mais ces bénéfices n’effacent pas les coûts potentiels si leur déploiement est mal préparé.

Le travail est l’un des sujets les plus sensibles. L’IA peut automatiser certaines tâches administratives, rédactionnelles, de service client ou de programmation. Dans de nombreux métiers, elle devrait surtout transformer les pratiques plutôt que supprimer une profession entière. Néanmoins, une adoption rapide sans formation ni protection sociale risque de fragiliser certains emplois et d’accentuer les écarts entre les personnes qui maîtrisent ces outils et celles qui les subissent.

Les autres risques souvent cités sont les suivants :

• La désinformation, avec des textes, images, voix et vidéos artificiels plus faciles à produire à grande échelle.
• Les biais, lorsqu’un système reproduit ou amplifie des discriminations contenues dans les données ou dans les choix de conception.
• La vie privée, si des données personnelles sont collectées, analysées ou recoupées sans garanties suffisantes.
• La cybersécurité, car l’IA peut aider à détecter des failles, mais aussi à industrialiser certaines tentatives de fraude ou d’attaque.
• La concentration du pouvoir, lorsque les modèles les plus coûteux à entraîner et les infrastructures de calcul restent entre les mains d’un petit nombre d’organisations.

Comment réguler une technologie qui évolue vite ?

Yoshua Bengio plaide pour une responsabilité partagée entre chercheurs, entreprises, pouvoirs publics et citoyens. La recherche peut développer de meilleures méthodes d’évaluation et de contrôle. Les entreprises doivent documenter les limites de leurs produits et prendre en charge les risques prévisibles. Les autorités publiques, elles, ont la responsabilité de fixer des règles applicables à tous et de pouvoir les faire respecter.

Dans l’Union européenne, l’AI Act est entré en vigueur le 1er août 2024. Ce règlement établit une approche fondée sur les risques. Certaines pratiques sont interdites ou fortement limitées, tandis que les systèmes considérés à haut risque doivent satisfaire à des obligations renforcées, par exemple en matière de documentation, de contrôle humain et de gestion des risques. Les dispositions ne s’appliquent pas toutes au même moment : l’entrée en vigueur ouvre une période de mise en œuvre progressive.

La réglementation ne peut toutefois pas tout résoudre seule. Un texte juridique doit être accompagné de compétences techniques dans les administrations, de moyens de contrôle et d’une coopération internationale. Les modèles d’IA et leurs données circulent au-delà des frontières, alors que les lois restent largement nationales ou régionales.

Pour les systèmes les plus avancés, plusieurs outils sont régulièrement évoqués dans le débat public et scientifique :

• des tests de sûreté avant et après la mise sur le marché ;
• des évaluations visant les capacités de manipulation, d’automatisation ou de cyberattaque ;
• des obligations de signalement des incidents graves ;
• une transparence adaptée sur les données, les limites et les usages prévus ;
• un contrôle humain effectif dans les domaines où les décisions affectent directement les droits, la santé, l’emploi ou la sécurité des personnes.

La responsabilité des chercheurs ne s’arrête pas à l’innovation

Pour Yoshua Bengio, la recherche sur l’IA doit aller de pair avec la recherche sur sa sûreté. Cette exigence est importante car un modèle peut être impressionnant lors d’une démonstration tout en restant imprévisible dans des cas inhabituels. Les chercheurs cherchent notamment à mieux comprendre pourquoi un modèle fournit une réponse, à détecter ses comportements dangereux et à réduire sa propension à produire des informations fausses.

On parle souvent d’« alignement » pour désigner l’objectif consistant à faire en sorte qu’un système se comporte conformément aux intentions humaines et à des règles de sécurité. Cette expression ne désigne pas une solution unique. Elle rassemble des travaux sur l’entraînement des modèles, les garde-fous, les tests, la supervision humaine et les mécanismes permettant d’interrompre ou de limiter certaines actions.

L’enjeu éthique est également concret pour les concepteurs. Une équipe qui met au point un outil de recrutement, de diagnostic ou de notation doit se demander qui sera affecté par ses erreurs, quelles données sont utilisées, quels recours auront les personnes concernées et qui répondra en cas de dommage. L’innovation responsable est donc moins une déclaration de principe qu’une série de choix techniques, juridiques et organisationnels.

Ce qu’il faut surveiller

L’avenir décrit par Yoshua Bengio n’est pas écrit d’avance. L’intelligence artificielle peut contribuer à des avancées utiles dans la recherche, l’éducation, la santé, l’accessibilité ou la lutte contre certaines tâches répétitives. Mais ces bénéfices dépendront de conditions précises : des outils évalués sérieusement, des utilisateurs informés de leurs limites, des données protégées et des règles capables d’évoluer au rythme des technologies.

Trois questions seront particulièrement déterminantes. La première est celle de la transparence : les entreprises expliqueront-elles suffisamment les capacités et les limites de leurs modèles ? La deuxième concerne la répartition des gains économiques : l’IA améliorera-t-elle les conditions de travail et l’accès au savoir, ou concentrera-t-elle davantage la valeur créée ? La troisième touche à la gouvernance mondiale : les États parviendront-ils à coopérer sur les risques les plus graves, sans bloquer les usages bénéfiques ?

L’alerte de Yoshua Bengio invite ainsi à sortir d’une opposition trop simple entre enthousiasme technologique et rejet de l’IA. La question n’est pas seulement de savoir ce que les machines pourront faire. Elle est de déterminer, collectivement, ce qu’elles devront avoir le droit de faire, dans quelles conditions et sous quelle responsabilité.