Geoffrey Hinton alerte sur le contrôle d’IA plus intelligentes que nous

L’avertissement de Geoffrey Hinton frappe parce qu’il vient de l’un des chercheurs qui ont rendu possible l’essor de l’intelligence artificielle moderne. Interrogé sur la possibilité de garder la main sur des systèmes plus intelligents que leurs créateurs, il a formulé un doute simple et vertigineux : il est difficile de trouver des cas où une entité moins intelligente contrôle durablement une entité plus intelligente. Pour l’illustrer, il a cité la relation entre une mère et son bébé.

Cette formule ne doit pas être comprise comme l’annonce d’une machine consciente ou toute-puissante. En janvier 2025, les IA génératives disponibles excellent dans certaines tâches, notamment la rédaction, la synthèse, le code, l’analyse d’images ou la traduction. Elles restent toutefois des systèmes spécialisés, parfois très performants, mais faillibles, dépendants de données, d’infrastructures et de décisions humaines. La question soulevée par Hinton porte avant tout sur la sécurité du développement de l’IA : comment concevoir, déployer et surveiller des systèmes dont les capacités pourraient progresser plus vite que notre aptitude à anticiper leurs effets ?

Geoffrey Hinton, pourquoi parle-t-on d’un pionnier de l’IA ?

L’expression de « père de l’intelligence artificielle » est commode, mais réductrice. L’IA est le résultat de décennies de travaux menés par de très nombreux scientifiques, ingénieurs et laboratoires. Geoffrey Hinton occupe néanmoins une place centrale dans l’histoire récente de la discipline, en particulier pour ses contributions aux réseaux de neurones artificiels et à l’apprentissage profond.

Un réseau de neurones est un programme composé de couches de calculs qui ajustent progressivement leurs paramètres à partir d’exemples. En lui montrant un très grand nombre d’images, de phrases ou de sons, on peut l’entraîner à reconnaître des régularités : distinguer un objet sur une photo, prédire le mot suivant dans un texte ou transcrire une voix. Cette approche a été décisive dans les progrès de la vision par ordinateur, de la reconnaissance vocale puis des grands modèles de langage.

En 2018, Geoffrey Hinton a reçu le prix Turing, souvent présenté comme la plus haute distinction de l’informatique, avec Yoshua Bengio et Yann LeCun. Le prix récompensait leurs avancées conceptuelles et techniques ayant fait des réseaux de neurones profonds un composant majeur de l’informatique. Sa parole pèse aussi parce qu’il a quitté Google en 2023 et s’est ensuite exprimé plus librement sur les dangers qu’il associe à une course trop rapide aux capacités de l’IA.

Il ne s’agit pas, pour autant, d’un verdict scientifique définitif. Les chercheurs divergent sur la probabilité, le calendrier et la nature des risques les plus graves. Certains insistent sur d’éventuels systèmes très avancés à long terme. D’autres jugent plus urgent de traiter les préjudices déjà observables : désinformation, discrimination algorithmique, surveillance, fraude, opacité des décisions automatisées ou concentration du pouvoir technologique.

Que signifie l’exemple de la mère et du bébé ?

Lorsqu’il évoque une mère et son bébé, Hinton ne prétend pas proposer un modèle applicable tel quel aux machines. L’exemple sert à mettre en évidence une difficulté : une relation de dépendance, d’attachement ou de vulnérabilité peut parfois permettre à un être moins capable de contraindre le comportement d’un être plus capable. Mais ces mécanismes sont profondément humains. Ils reposent sur des émotions, des normes sociales, des liens familiaux et une histoire commune.

Une IA ne possède pas spontanément ces freins. Un système informatique agit selon son entraînement, ses objectifs programmés, les règles qui encadrent son utilisation et l’environnement numérique auquel on lui donne accès. Si une organisation lui demande d’optimiser un indicateur, par exemple réduire un délai de traitement ou augmenter le nombre de ventes, le système peut poursuivre cet objectif d’une façon inattendue si les garde-fous sont mal définis.

Le problème central est donc celui de l’alignement. Dans le vocabulaire de la recherche, ce terme désigne l’effort consistant à faire en sorte qu’un système poursuive des objectifs compatibles avec les intentions et les intérêts humains. En pratique, cela suppose des consignes précises, des tests, des limites d’accès, une possibilité d’intervention humaine et une évaluation continue des résultats.

Des forces non humaines influencent déjà nos décisions

L’article d’archive rapprochait la réflexion de Hinton de travaux philosophiques associés notamment à Bruno Latour et Graham Harman. Le point utile de ce rapprochement est le suivant : les humains ne prennent jamais leurs décisions dans un vide technique ou matériel. Des outils, des infrastructures, des règles, des interfaces, des maladies ou des contraintes environnementales participent à organiser nos comportements.

L’exemple des coronavirus mentionné dans la publication d’origine n’implique évidemment aucune intention de la part d’un virus. Il rappelle plutôt qu’un agent non humain peut bouleverser les déplacements, le travail, les politiques publiques et les relations sociales. De même, une plateforme numérique ne « domine » pas nécessairement ses utilisateurs au sens politique du terme, mais elle peut rendre certaines actions faciles, d’autres difficiles, et influencer l’attention par la façon dont elle classe ou recommande les contenus.

Cette distinction est essentielle. Parler de contrôle par l’IA ne signifie pas que les logiciels deviennent des maîtres indépendants. Cela peut aussi désigner une dépendance plus ordinaire : une entreprise délègue des décisions à un outil qu’elle ne sait plus examiner, ou un individu accepte les recommandations d’un système parce qu’elles sont pratiques, personnalisées et omniprésentes.

La publication d’origine évoquait aussi l’esclavage et la répression politique comme contre-exemples à l’idée selon laquelle l’intelligence déterminerait à elle seule qui contrôle qui. L’observation est juste sur un plan général : les rapports de domination reposent sur la force, les institutions, les ressources, la loi, la contrainte et l’organisation collective, pas seulement sur les facultés intellectuelles. Appliquée à l’IA, elle invite à regarder autant les entreprises et les administrations qui déploient les outils que les outils eux-mêmes.

Les IA génératives comprennent-elles vraiment le monde ?

Les assistants conversationnels donnent souvent l’impression de comprendre une question. Ils peuvent expliquer une notion complexe, suivre le fil d’un échange, rédiger dans plusieurs registres ou résoudre certains problèmes. Leur fonctionnement reste néanmoins différent de la compréhension humaine : ils produisent une réponse en calculant, à partir de très grandes quantités de données d’entraînement, quelles suites de mots ou d’éléments ont le plus de chances d’être pertinentes dans un contexte donné.

Cette capacité à généraliser est réelle. Mais elle ne garantit ni la vérité, ni une connaissance stable du monde, ni la conscience des conséquences d’une réponse. Les modèles peuvent inventer une référence, confondre deux personnes, échouer sur une instruction ambiguë ou présenter avec assurance une information erronée. On parle alors souvent d’« hallucination », même s’il s’agit d’une métaphore : la machine ne perçoit pas une réalité alternative, elle génère un contenu incorrect ou non vérifié.

Il faut éviter deux excès. Le premier serait de traiter ces systèmes comme de simples machines à copier, alors qu’ils peuvent produire des résultats utiles et surprenants. Le second serait de confondre une réponse fluide avec une compréhension humaine complète. Dans les usages sensibles, une IA générative doit donc servir à assister, préparer, rechercher des pistes ou automatiser des tâches encadrées, plutôt qu’à prendre seule une décision qui affecte des droits, une santé, un emploi ou une sécurité.

Marketing, école : la délégation doit rester réversible

L’IA s’installe déjà dans le marketing et l’éducation, deux domaines évoqués par le texte d’origine. Dans une équipe marketing, elle peut accélérer une veille concurrentielle, résumer des documents, proposer des variantes de messages ou aider à analyser de grands volumes de retours clients. Ces fonctions peuvent faire gagner du temps, à condition de contrôler les données fournies au système, de vérifier les analyses et de ne pas laisser un outil automatisé dicter seul une stratégie commerciale.

À l’école, les usages posent une question double. Les outils génératifs peuvent aider à reformuler un cours, créer des exercices adaptés, fournir un premier retour sur un texte ou accompagner un élève dans ses révisions. Ils peuvent aussi faciliter le plagiat, diffuser une erreur convaincante, accroître les écarts entre élèves équipés ou exposer des données personnelles. L’enjeu n’est pas seulement d’autoriser ou d’interdire : il est d’apprendre à citer l’usage de l’outil, vérifier ses réponses, protéger les informations sensibles et conserver l’évaluation du raisonnement personnel.

Dans les deux cas, une règle pratique s’impose : la délégation doit être réversible. Une personne doit pouvoir comprendre pourquoi l’outil a été employé, contester son résultat, le corriger et reprendre la main sans coût disproportionné. Cette exigence devient plus forte à mesure que la décision a des conséquences importantes.

La crise écologique rappelle les effets systémiques de la technique

La publication d’origine reliait également le débat à la crise climatique. Le parallèle mérite d’être manié avec prudence. L’IA n’est pas la cause unique de la crise écologique, qui résulte de choix économiques, énergétiques, industriels et politiques de longue durée. Elle peut toutefois s’inscrire dans des systèmes techniques qui consomment des ressources, demandent des infrastructures et peuvent amplifier certaines logiques de production ou de consommation.

Elle peut aussi contribuer à la recherche scientifique, à l’optimisation de réseaux, à la prévision ou à l’analyse de données environnementales. Mais aucune technologie ne remplace un choix collectif sur les objectifs poursuivis. Utiliser l’IA pour optimiser un processus ne répond pas, à lui seul, à la question de savoir quel processus doit être développé, réduit ou transformé.

Cette leçon vaut pour toutes les promesses technologiques. L’efficacité n’est pas une valeur suffisante si l’on ne précise pas au service de qui elle est mise, selon quelles règles et avec quels coûts sociaux ou environnementaux.

Ce qu’il faut surveiller pour garder la main sur l’IA

En janvier 2025, le débat ne se résume plus à savoir si l’IA doit être encadrée, mais à déterminer comment le faire sans freiner les usages réellement utiles. L’Union européenne a adopté l’AI Act, un cadre réglementaire fondé sur le niveau de risque, dont l’application doit être progressive. Cette approche ne remplace pas le travail des entreprises, des chercheurs, des administrations et des citoyens : une règle n’empêche pas, à elle seule, une mauvaise conception ou une utilisation irréfléchie.

Plusieurs repères peuvent guider les organisations qui déploient ces outils :

• identifier les décisions pour lesquelles une validation humaine est indispensable ;
• tester les biais, les erreurs et les comportements inattendus avant le déploiement ;
• limiter les accès d’un agent logiciel aux données, aux comptes et aux actions irréversibles ;
• informer clairement les personnes lorsqu’une IA intervient dans un service ou une décision ;
• prévoir des voies de recours, des audits et une responsabilité identifiable.

L’alerte de Geoffrey Hinton a donc moins de valeur comme prophétie que comme invitation à ne pas confondre capacité technique et maîtrise collective. Les IA de janvier 2025 ne décident pas seules de l’avenir de l’humanité. En revanche, les choix de conception, de financement, de déploiement et de régulation faits par les humains détermineront si ces systèmes restent des outils contrôlables ou deviennent des infrastructures trop opaques pour être réellement contestées.