Régulation et éthique

IA : l’ancien chercheur d’OpenAI Steven Adler alerte sur une course inquiétante

Steven Adler, ancien chercheur en sécurité chez OpenAI, alerte sur un développement de l’intelligence artificielle qu’il juge trop rapide. Son inquiétude porte moins sur une technologie précise que sur l’écart grandissant entre la course aux capacités et la capacité des laboratoires à en maîtriser les risques.

Des chercheurs examinent des systèmes d’IA et des protocoles de sécurité dans un laboratoire.
Illustration : Actu.ai

Le débat sur l’intelligence artificielle ne porte plus seulement sur les capacités spectaculaires des assistants conversationnels ou des générateurs d’images. Il concerne aussi la vitesse à laquelle ces outils gagnent en puissance, et la faculté des entreprises comme des pouvoirs publics à anticiper leurs effets. C’est précisément ce décalage que dénonce Steven Adler, ancien chercheur en sécurité chez OpenAI, dans une série de publications sur X.

Pour lui, le rythme de développement est devenu « terrifiant ». Le mot traduit une inquiétude qui traverse une partie du monde de la recherche : la compétition technologique s’accélère alors que les méthodes permettant de vérifier, limiter ou corriger le comportement des systèmes les plus avancés restent incomplètes. Cette position ne constitue pas une prédiction certaine sur l’avenir de l’IA. Elle pose toutefois une question centrale : que se passe-t-il si les capacités progressent plus vite que les mécanismes de contrôle ?

Pourquoi Steven Adler s’inquiète-t-il du rythme de l’IA ?

Steven Adler a travaillé sur les questions de sécurité chez OpenAI, l’entreprise à l’origine de ChatGPT. Son message n’est pas une critique de principe contre l’intelligence artificielle ni un rejet de ses usages. Il vise la logique de course qui s’installe entre laboratoires : chacun veut mettre au point des modèles plus performants, plus polyvalents et plus compétitifs, dans un contexte où une avancée d’un concurrent peut rapidement redessiner le marché.

Selon lui, cette dynamique laisse trop peu de temps pour faire progresser les protections essentielles. « La vitesse de notre progression diminue nos chances de trouver une solution à temps », affirme-t-il. La question est particulièrement sensible pour les systèmes appelés à accomplir des tâches de plus en plus complexes, à utiliser des outils numériques, à analyser de grands volumes d’information ou à intervenir dans des processus professionnels importants.

L’ancien chercheur exprime aussi une inquiétude personnelle face à cette accélération. Dans ses publications, il s’interroge sur l’avenir et sur la possibilité même de se projeter dans une vie familiale : « Est-ce que l’humanité atteindra même ce point ? » Cette formule reflète une vision très pessimiste des risques à long terme. Elle ne fait pas consensus parmi les chercheurs, mais elle illustre l’intensité du débat au sein de l’écosystème de l’IA.

L’intelligence artificielle générale reste un objectif, pas une réalité établie

Au cœur de ces inquiétudes se trouve l’intelligence artificielle générale, souvent abrégée en IAG. Cette expression désigne, dans son sens le plus courant, une IA qui pourrait accomplir un large éventail de tâches intellectuelles avec une polyvalence comparable ou supérieure à celle d’un humain. Elle se distinguerait des systèmes actuels, généralement conçus et évalués sur des familles de tâches précises, même lorsqu’ils paraissent très généralistes dans une conversation.

L’IAG n’a pas de définition technique universellement admise, ni de test unique permettant d’affirmer qu’elle a été atteinte. Elle demeure donc un horizon de recherche et de stratégie pour certains laboratoires, non une technologie identifiée et disponible. C’est justement cette incertitude qui complique le débat : il faut réfléchir à des garde-fous pour des capacités futures dont la forme exacte est inconnue.

NotionCe qu’elle recouvreLa question de sécurité associée
Modèle d’IA actuelUn système capable de générer, résumer, classer ou analyser des contenus selon son entraînementPeut-il produire des erreurs, des biais ou des contenus dangereux dans un usage concret ?
Système agentiqueUn logiciel qui peut enchaîner des étapes et utiliser certains outils pour atteindre un objectifQuelles actions peut-il effectuer, avec quelles autorisations et quels contrôles ?
Intelligence artificielle généraleL’hypothèse d’une IA très polyvalente dans les tâches intellectuellesComment s’assurer qu’un système très capable agit durablement dans l’intérêt humain ?
AlignementLes méthodes visant à rapprocher le comportement d’une IA des intentions et des valeurs humainesPeut-on vérifier que le système suivra les bonnes consignes dans des situations inédites ?

Parler d’IAG ne revient donc pas à décrire un produit précis. Cela revient à poser un problème de gouvernance : si des systèmes deviennent beaucoup plus autonomes et compétents, quels tests devront-ils réussir avant un déploiement large ? Qui pourra vérifier ces tests ? Et quelles limites devront être imposées lorsqu’un niveau de risque paraît trop élevé ?

Qu’est-ce que l’alignement de l’IA ?

L’alignement est l’un des grands mots du débat sur la sécurité de l’intelligence artificielle. Il désigne l’ambition de faire en sorte qu’un système poursuive les objectifs voulus par les humains et respecte des règles compatibles avec leurs valeurs. Dit ainsi, le principe paraît évident. En pratique, il est difficile à mettre en œuvre.

Une instruction humaine est souvent imprécise. Demander à un système d’être « utile », « efficace » ou « sûr » ne suffit pas à lui indiquer comment arbitrer entre des valeurs qui peuvent entrer en tension, comme la rapidité, la confidentialité, la liberté d’expression ou la prévention d’un dommage. Une IA peut aussi satisfaire littéralement une consigne tout en produisant un résultat indésirable, parce qu’elle a optimisé un indicateur imparfait plutôt que l’intention réelle de son utilisateur.

Les chercheurs travaillent sur plusieurs leviers complémentaires : entraînement à suivre des consignes, évaluations avant déploiement, restrictions d’accès à certains outils, supervision humaine, audits externes et mécanismes d’arrêt. Aucun de ces outils n’apporte à lui seul une garantie absolue, en particulier pour des comportements nouveaux ou difficiles à anticiper.

Steven Adler souligne qu’à ses yeux, aucun laboratoire ne dispose encore d’une solution satisfaisante au problème de l’alignement pour des systèmes potentiellement très avancés. C’est la raison pour laquelle il réclame de ne pas traiter la sécurité comme une simple étape administrative ajoutée à la fin du développement. Elle devrait, selon cette logique, évoluer au même rythme que les capacités des modèles.

Le contrôle ne se réduit pas à un bouton d’arrêt

Dans les débats grand public, la maîtrise d’une IA est parfois résumée à la possibilité de couper un serveur ou de désactiver un service. Le problème est plus large. Contrôler un système implique notamment de savoir ce qu’il peut faire, de mesurer ses limites, de détecter les comportements inattendus, de définir les permissions qu’on lui accorde et de prévoir une intervention humaine efficace en cas d’incident.

Ces précautions concernent déjà des usages bien réels. Une IA utilisée dans une entreprise peut commettre une erreur de raisonnement, exposer une information sensible si elle est mal configurée, ou donner un conseil inadapté. Plus elle est intégrée à des processus sensibles, plus la qualité des évaluations, des contrôles d’accès et de la supervision devient déterminante.

Les départs chez OpenAI alimentent les interrogations sur la sécurité

Les déclarations de Steven Adler interviennent aussi dans un contexte de tensions visibles autour de la sécurité au sein d’OpenAI. L’entreprise a connu des départs de chercheurs travaillant sur les risques de long terme, et l’équipe consacrée au super-alignement a été dissoute en 2024. Selon l’estimation relayée par Adler, entre 40 et 50 % de l’équipe dédiée aux risques de long terme aurait quitté l’entreprise.

Ce chiffre doit être interprété avec prudence. Les départs d’employés ne permettent pas, à eux seuls, de mesurer la qualité effective des travaux de sécurité menés par une organisation, ni de connaître les raisons individuelles de chaque départ. Ils sont néanmoins devenus un élément important du débat public, car OpenAI occupe une place centrale dans la course aux modèles génératifs avancés.

L’inquiétude exprimée par Adler rejoint celle d’autres voix reconnues. Geoffrey Hinton, lauréat du prix Nobel de physique en 2024 pour ses travaux pionniers sur les réseaux de neurones artificiels, a lui aussi alerté sur la possibilité que des systèmes très puissants deviennent difficiles à contrôler. Là encore, les experts ne partagent pas tous la même estimation de la probabilité d’un scénario extrême. Mais ils convergent souvent sur un point : la sécurité ne peut pas reposer uniquement sur les engagements volontaires des entreprises.

DeepSeek rappelle que la concurrence est désormais mondiale

Le contexte concurrentiel renforce le sentiment d’urgence. Des entreprises chinoises, dont DeepSeek, ont montré qu’elles pouvaient proposer des modèles jugés compétitifs face aux acteurs américains. Pour les utilisateurs, cette émulation peut favoriser l’innovation, multiplier les outils disponibles et faire baisser les barrières d’accès à certaines capacités d’IA.

Elle crée aussi une incitation puissante à publier rapidement. Si un laboratoire ralentit pour effectuer davantage de tests, il peut craindre de perdre des talents, des clients, des financements ou une position technologique. C’est le mécanisme que dénoncent les partisans de règles communes : sans normes minimales applicables à tous, les précautions peuvent être perçues comme un handicap concurrentiel plutôt que comme une condition d’acceptabilité.

Course aux capacités ou sécurité démontrée : deux logiques à concilier

La pression de la concurrence

  • Publier rapidement pour ne pas laisser un concurrent prendre l’avantage.
  • Attirer les talents, les utilisateurs et les financements grâce à de nouvelles capacités.
  • Réduire le temps consacré aux évaluations longues et aux retours d’expérience.
  • Faire des précautions un coût potentiellement désavantageux si elles ne sont pas partagées.

Les exigences de sécurité

  • Évaluer les capacités dangereuses avant une diffusion large.
  • Limiter les outils et les autorisations accordés aux systèmes les plus autonomes.
  • Documenter les incidents, les limites connues et les mesures correctrices.
  • Mettre en place des règles communes pour éviter une compétition au moins-disant.

La concurrence mondiale ne rend pas la régulation impossible, mais elle la rend plus difficile. Un cadre uniquement national risque d’être contourné si les modèles, les capitaux, les données et les services circulent entre plusieurs juridictions. À l’inverse, une coopération internationale lente ou trop vague peut laisser les entreprises décider seules du niveau de risque acceptable.

Pourquoi les réglementations sont-elles au centre du débat ?

Pour Steven Adler, il faut de « vraies réglementations de sécurité ». L’idée n’est pas seulement de sanctionner un dommage après coup. Il s’agit d’organiser une prévention avant la mise sur le marché de systèmes pouvant présenter des risques importants.

En Europe, l’AI Act est entré en vigueur le 1er août 2024. Son application doit être progressive. Le règlement établit une approche fondée sur le niveau de risque : certaines pratiques sont interdites, tandis que les systèmes à haut risque sont soumis à des obligations particulières. Il introduit aussi des règles concernant les modèles d’IA à usage général.

Ce texte européen ne règle pas à lui seul la question des risques liés à de futurs systèmes extrêmement capables. Il fournit toutefois un cadre plus structuré que les engagements purement volontaires. Les discussions portent notamment sur plusieurs exigences possibles :

  • des évaluations de sécurité avant la diffusion de modèles très puissants ;
  • la déclaration et l’analyse d’incidents graves ;
  • une documentation permettant aux autorités et à certains experts d’examiner les risques ;
  • des responsabilités clairement attribuées aux entreprises qui développent et mettent à disposition les systèmes ;
  • une coopération entre pays afin d’éviter une compétition réglementaire vers le moins-disant.

La difficulté est de concevoir des obligations assez robustes pour prévenir les abus ou les défaillances, sans empêcher les usages utiles de l’IA dans la recherche, l’éducation, l’industrie ou la santé. C’est un équilibre complexe, car les risques varient fortement selon le modèle, son niveau d’autonomie, les outils auxquels il est connecté et les personnes qui y ont accès.

Distinguer les risques actuels des scénarios de long terme

L’alerte de Steven Adler concerne en grande partie des risques à long terme, jusqu’à la possibilité de systèmes qui dépasseraient profondément les capacités humaines. Ces scénarios font débat et restent incertains. Ils ne doivent pas faire oublier les problèmes déjà observables : désinformation, fraudes, contenus synthétiques trompeurs, discrimination algorithmique, atteintes à la vie privée, erreurs dans les décisions automatisées ou vulnérabilités de cybersécurité.

Les deux niveaux de risque ne s’excluent pas. Les méthodes créées pour tester et encadrer les systèmes actuels peuvent contribuer à construire une culture de sécurité utile à l’avenir. Inversement, se concentrer uniquement sur les dommages immédiats pourrait laisser de côté les transformations plus profondes qu’entraînerait une IA beaucoup plus autonome.

Le débat public gagne donc à éviter deux écueils. Le premier consiste à présenter toute avancée comme une menace certaine pour l’humanité. Le second consiste à considérer que les inquiétudes sur la sécurité ne sont que des spéculations sans conséquence pratique. Entre ces deux positions, il existe un travail concret : tester, documenter, limiter les accès sensibles, former les utilisateurs, rendre des comptes et fixer des règles proportionnées.

Ce qu’il faut surveiller dans les prochains mois

L’avertissement de Steven Adler pose une question de calendrier. Les laboratoires parviendront-ils à renforcer leurs méthodes de sécurité au même rythme que les capacités de leurs modèles ? Les gouvernements réussiront-ils à fixer des règles applicables sans attendre qu’un incident majeur les y contraigne ? Et les entreprises accepteront-elles une transparence suffisante sur leurs évaluations et leurs limites ?

Les réponses ne dépendront pas d’un seul acteur. Elles passeront par les choix des concepteurs de modèles, des régulateurs, des chercheurs indépendants, des entreprises clientes et du public. À la fin de janvier 2025, la trajectoire de l’IA reste ouverte. Mais une chose apparaît clairement dans l’alerte de l’ancien chercheur d’OpenAI : la promesse de progrès ne dispense pas de prouver que ce progrès peut être maîtrisé.

Questions fréquentes

Pourquoi Steven Adler qualifie-t-il le développement de l’IA de terrifiant ?

L’ancien chercheur en sécurité d’OpenAI estime que les capacités des systèmes progressent plus vite que les méthodes permettant de vérifier leur fiabilité et leur contrôle. Son inquiétude vise surtout la compétition entre laboratoires, qui pourrait réduire le temps consacré à l’alignement, aux tests et aux garde-fous avant la diffusion de modèles toujours plus puissants.

Qu’est-ce que l’alignement de l’intelligence artificielle ?

L’alignement désigne la recherche de méthodes permettant de faire agir une IA conformément aux intentions humaines et à des règles jugées acceptables. Cela ne se limite pas à lui donner une instruction. Il faut aussi vérifier son comportement dans des situations nouvelles, prévenir les effets indésirables et maintenir une supervision humaine adaptée aux tâches confiées au système.

L’intelligence artificielle générale existe-t-elle déjà ?

Non. En janvier 2025, l’intelligence artificielle générale reste un objectif ou une hypothèse de recherche, sans définition universelle ni test unique permettant d’établir qu’elle a été atteinte. Les modèles actuels peuvent accomplir de nombreuses tâches, mais cela ne prouve pas qu’ils possèdent une compréhension générale comparable à celle d’un humain dans tous les domaines.

Pourquoi les départs de chercheurs chez OpenAI suscitent-ils des inquiétudes ?

Ils attirent l’attention sur la place réellement accordée à la recherche en sécurité dans une entreprise au cœur de la course aux modèles avancés. Selon l’estimation relayée par Steven Adler, 40 à 50 % de l’équipe dédiée aux risques de long terme aurait quitté OpenAI. Ce chiffre ne mesure pas à lui seul la sécurité de l’entreprise, mais il nourrit le débat.

L’AI Act européen répond-il aux risques des IA très puissantes ?

L’AI Act apporte un cadre important fondé sur les niveaux de risque et prévoit des règles pour les systèmes à haut risque ainsi que pour les modèles d’IA à usage général. Son application est progressive à partir de son entrée en vigueur en août 2024. Il ne tranche pas toutes les questions liées à de futures IA très autonomes, qui exigent aussi coopération internationale et évaluations techniques robustes.

Sources

Références consultées pour la rédaction de cet article. Les adresses sont indiquées à titre informatif et ne sont pas des liens.

  1. Publications de Steven Adler, ancien chercheur en sécurité chez OpenAIx.com/sjgadler
  2. Commission européenne, présentation de l’AI Actdigital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
  3. OpenAI, informations institutionnelles sur la sécuritéopenai.com
  4. Prix Nobel, fiche de Geoffrey Hinton, lauréat 2024 de physiquewww.nobelprize.org/prizes/physics/2024/hinton/facts