Plus de 800 experts demandent de freiner la course à la superintelligence

Plus de 800 voix issues de la recherche, de la tech, de la politique et de la société civile réclament un coup d’arrêt. Leur cible n’est pas l’ensemble de l’intelligence artificielle, ni les outils déjà utilisés pour écrire, traduire, programmer ou analyser des données. Elles visent un objectif bien plus ambitieux : construire une intelligence artificielle qui dépasserait l’être humain dans presque tous les domaines intellectuels.

Publié le 22 octobre 2025, cet appel est porté par le Future of Life Institute, une organisation à but non lucratif connue pour ses interventions sur les risques liés aux technologies avancées. Ses soutiens demandent que les travaux visant la superintelligence soient interrompus tant que des conditions de sécurité, de contrôle démocratique et d’acceptation collective ne seront pas réunies.

Parmi les noms associés à cette initiative figurent Geoffrey Hinton, lauréat du prix Nobel de physique 2024, Yoshua Bengio et Stuart Russell, trois chercheurs dont les travaux ont profondément marqué l’IA moderne. Des personnalités extérieures aux laboratoires les rejoignent également, dont le cofondateur d’Apple Steve Wozniak, l’entrepreneur Richard Branson, Steve Bannon, l’ancienne conseillère américaine à la sécurité nationale Susan Rice et Paolo Benanti, spécialiste de l’IA auprès du Vatican.

Ce que réclame exactement l’appel

Le texte ne se limite pas à une mise en garde générale contre l’innovation. Il demande un arrêt immédiat des travaux visant à créer une superintelligence, c’est-à-dire une IA capable de surpasser les capacités humaines. Les signataires considèrent qu’avancer vers un tel système sans garanties préalables serait irresponsable.

Deux conditions ressortent particulièrement de leur démarche :

• un large consensus scientifique sur la possibilité de concevoir et de garder sous contrôle une telle intelligence ;
• un soutien public suffisamment fort, car les conséquences d’un basculement technologique de cette ampleur dépasseraient les intérêts des seules entreprises ou des seuls laboratoires.

Cette position renvoie à une question de gouvernance : qui décide qu’une technologie aussi puissante peut être construite, testée et déployée ? Pour les auteurs de l’appel, une décision de cette nature ne peut pas reposer uniquement sur la concurrence entre acteurs privés ou sur la volonté d’un État de prendre l’avantage technologique.

Max Tegmark, président du Future of Life Institute, estime que développer une telle intelligence sans cadre adapté relève de l’irresponsabilité. L’enjeu n’est donc pas seulement de rendre les systèmes performants, mais de savoir si leurs concepteurs disposent de moyens crédibles pour prévoir leurs comportements et empêcher des usages ou des conséquences dommageables.

Qu’est-ce qu’une superintelligence artificielle ?

La superintelligence est une notion théorique. Elle désigne une IA qui dépasserait les capacités intellectuelles humaines non seulement dans une tâche précise, mais dans la plupart des domaines importants : raisonnement, créativité, recherche scientifique, stratégie, apprentissage, communication et prise de décision.

Cette idée doit être distinguée des systèmes actuels. Les modèles génératifs peuvent produire des textes convaincants, aider à coder, résumer des documents ou créer des images. Mais leurs résultats peuvent aussi comporter des erreurs, des approximations ou des informations inventées. Ils n’ont pas, à eux seuls, une compréhension générale du monde comparable à celle d’un humain, ni une autonomie illimitée.

Entre les outils présents et l’hypothèse d’une superintelligence, le débat évoque souvent une étape intermédiaire : l’intelligence artificielle générale, parfois désignée par l’acronyme anglais AGI. Cette expression renvoie à une IA qui pourrait accomplir un très grand nombre de tâches intellectuelles à un niveau comparable à celui d’un humain. Il ne s’agit pas d’un seuil officiellement défini ni d’une technologie dont l’existence est établie.

La distinction est essentielle. Alerter sur les risques d’une superintelligence ne revient pas à affirmer que chaque assistant conversationnel actuel peut prendre le contrôle d’une entreprise, d’un réseau électrique ou d’un gouvernement. En revanche, les signataires jugent qu’il faut réfléchir en amont, avant que des capacités plus générales et plus autonomes ne rendent cette réflexion beaucoup plus difficile.

Pourquoi des pionniers de l’IA s’inquiètent-ils ?

La présence de Geoffrey Hinton, Yoshua Bengio et Stuart Russell donne un relief particulier à cet appel. Ces chercheurs ne sont pas hostiles par principe à l’intelligence artificielle. Leur carrière est au contraire liée à l’essor de cette discipline. Leur inquiétude porte sur l’écart qui pourrait se creuser entre la rapidité des progrès techniques et la lenteur des dispositifs de sécurité, de contrôle et de régulation.

Le risque le plus souvent évoqué est celui d’une perte de contrôle. Un système très puissant, s’il poursuit un objectif mal défini ou s’il agit dans un environnement complexe, peut produire des résultats contraires à l’intention initiale de ses concepteurs. Plus une IA est autonome, rapide et capable d’influencer d’autres systèmes, plus il devient difficile pour les humains de vérifier chacune de ses décisions.

Les préoccupations sont aussi sociales et politiques. Une IA extraordinairement capable pourrait concentrer des ressources, des connaissances et du pouvoir entre les mains de quelques organisations. Elle pourrait accentuer les inégalités si ses bénéfices ne sont accessibles qu’à une minorité, ou si elle bouleverse rapidement des métiers et des secteurs entiers sans accompagnement suffisant.

Enfin, ces technologies pourraient devenir un enjeu de sécurité internationale. Dans un contexte de compétition intense entre puissances, la tentation peut être forte d’accélérer les développements pour ne pas être distancé. Or cette logique de course peut réduire le temps consacré aux tests, aux audits indépendants et à l’évaluation des conséquences.

De la sécurité technique à la responsabilité politique

La sûreté d’une IA ne se résume pas à empêcher un piratage. Elle suppose aussi de s’assurer que le système fait réellement ce qui est attendu de lui, y compris lorsque les instructions sont ambiguës, que les données sont incomplètes ou que les situations rencontrées sont inédites.

C’est l’un des grands défis de l’alignement, un terme employé dans la recherche pour désigner la capacité d’un système à agir conformément aux intentions et aux valeurs humaines. Dans le cas d’une IA très avancée, la difficulté ne serait pas seulement de programmer une règle simple. Il faudrait pouvoir tester, comprendre et limiter le comportement d’un système susceptible de résoudre des problèmes avec une sophistication supérieure à celle de ses opérateurs.

Les signataires demandent donc davantage qu’une charte volontaire. Ils défendent la mise en place de lignes rouges claires, d’évaluations de risques et d’accords internationaux. Leur démarche rejoint les appels de chercheurs formulés lors de l’assemblée générale des Nations unies pour établir des principes communs face aux effets potentiellement majeurs de l’IA.

Des mécanismes de contrôle peuvent être discutés : audits réguliers, évaluations d’impact, obligations de transparence pour les développeurs, supervision par des autorités indépendantes et représentation de la société civile dans les instances de décision. Aucun de ces outils ne constitue à lui seul une solution complète. Leur intérêt serait de créer plusieurs niveaux de vérification plutôt que de confier la sécurité à la seule bonne volonté des entreprises.

Une course technologique qui rend l’accord difficile

L’appel intervient alors que les entreprises de l’IA investissent massivement dans des modèles toujours plus puissants. Pour elles, les capacités de raisonnement, d’automatisation et de découverte scientifique promises par ces systèmes peuvent transformer de nombreux domaines, de la santé à l’industrie en passant par l’éducation et la recherche.

Sam Altman, dirigeant d’OpenAI, a évoqué la possibilité que le seuil de la superintelligence soit atteint dans un délai de cinq ans. Cette perspective, si elle se réalisait, laisserait peu de temps aux institutions pour élaborer des règles partagées et aux citoyens pour mesurer les choix de société en jeu.

Le calendrier reste toutefois profondément incertain. Prédire l’arrivée d’une technologie qui n’existe pas encore dépend de définitions contestées, de ruptures scientifiques impossibles à dater et de choix industriels ou réglementaires qui peuvent accélérer ou ralentir les trajectoires. Les déclarations sur un horizon précis doivent donc être comprises comme des scénarios ou des anticipations, non comme des certitudes.

La dimension géopolitique complique encore le débat. Les États-Unis et la Chine sont engagés dans une compétition technologique majeure, tandis que la Chine a mis en place un régime encadrant certaines technologies étrangères. Si chaque pays redoute qu’un rival prenne une avance décisive, conclure un accord contraignant devient plus difficile. Pourtant, c’est précisément cette rivalité qui renforce, selon les signataires, la nécessité de règles internationales.

Pourquoi le débat concerne aussi le grand public

La présence de responsables politiques, de personnalités religieuses et d’entrepreneurs dans cet appel souligne que la superintelligence n’est pas un débat réservé aux ingénieurs. Une technologie ayant des effets possibles sur l’emploi, l’accès au savoir, les institutions, la sécurité et la répartition du pouvoir appelle un débat démocratique.

Le public peut difficilement trancher seul des questions très techniques. Mais il peut exiger que les décisions ne soient pas prises dans l’opacité, que les promesses commerciales soient confrontées à des évaluations indépendantes et que les autorités expliquent les règles qu’elles souhaitent adopter. L’éducation aux usages de l’IA reste également indispensable pour distinguer les capacités réelles des outils, leurs limites et les scénarios encore hypothétiques.

Cela ne signifie pas choisir entre l’arrêt de toute innovation et l’absence totale de garde-fous. Les signataires insistent au contraire sur la possibilité de développer des systèmes utiles, par exemple pour la santé ou l’environnement, sans faire de la création d’une intelligence surhumaine l’horizon obligatoire de la technologie.

Ce qu’il faut surveiller

Le premier point à observer sera la réponse des entreprises qui développent les modèles les plus avancés. Accepteront-elles de publier davantage d’informations sur leurs méthodes d’évaluation, de soumettre leurs systèmes à des audits ou de reconnaître des limites de développement ? Le débat portera autant sur les engagements concrets que sur les déclarations de principe.

Le deuxième enjeu est international. Des règles nationales peuvent encadrer certains usages, mais une technologie développée et hébergée à l’échelle mondiale exige une coordination entre États. Les appels à des accords internationaux devront se confronter aux intérêts économiques, militaires et diplomatiques parfois opposés des grandes puissances.

Enfin, la question centrale restera celle du seuil. À quel moment un système devient-il assez général, autonome et puissant pour nécessiter des précautions exceptionnelles ? L’appel du 22 octobre 2025 ne prétend pas fournir une réponse technique définitive. Il affirme plutôt qu’il serait imprudent d’attendre d’être au pied du mur pour décider qui contrôle la prochaine étape de l’intelligence artificielle.