Data / IA
Alerte sincère ou barrière à l’entrée ? Ce que cache le cri d’alarme de Dario Amodei (Anthropic)
Par Laurent Delattre, publié le 14 septembre 2026
Après les dérives agentiques de l’été, le patron d’Anthropic réclame un ralentissement vérifiable. Son avertissement mérite mieux que l’alternative entre prophétie et opération marketing : la peur peut être sincère, les risques réels et les solutions proposées avantageuses pour celui qui les défend.
Samedi matin, publication tôt, interview exclusive à CNN dans la foulée. Le patron d’Anthropic signe, sur son blog personnel, pas celui d’Anthropic, un essai de 3 800 mots intitulé « We Must Pace the Frontier » avec une phrase qui a fait le tour du monde en quelques heures : « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. »
Sam Altman approuve dans la journée. Elon Musk aussi.
Quand trois concurrents tombent d’accord aussi vite, difficile de ne pas se demander s’ils ont vraiment eu la même illumination au même moment ou si tout ceci n’est qu’une farce marketing orchestrée pour servir leurs ambitions à Wall Street.
Ne réduire l’alerte qu’à un coup marketing ferait cependant qu’oublier l’ancienneté de la position du CEO d’Anthropic. Dario Amodei cosignait dès 2016 Concrete Problems in AI Safety, consacré notamment au détournement des objectifs d’apprentissage. En juillet 2026, l’appel collectif Pacing the Frontier, dont le site affiche aujourd’hui 1 386 signataires, demandait déjà de préparer les moyens techniques et politiques d’encadrer l’accélération de la recherche automatisée. Dario Amodei, Ilya Sutskever et des responsables scientifiques d’OpenAI figuraient parmi les signataires.
Dans un style un peu différent, OpenAI et 150 signataires publiaient début septembre une lettre ouverte appelant à une mobilisation mondiale en faveur de la cyberdéfense à l’ère de IA alors que Mythos et GPT-6-Astra multiplient les découvertes de failles et simplifient la production d’exploits.
L’inquiétude est ancienne mais ce qui interpelle, c’est le revirement de timing. En 2023, Dario Amodei jugeait les appels à « une pause de l’IA » bien trop prématurés. Mais, aujourd’hui, son diagnostic a changé, et il y a urgence.
Deux évènements sont ainsi venus forger sa nouvelle conviction et ce sentiment qu’il est désormais temps de freiner.
* Le premier, c’est que l’IA contribue désormais suffisamment à fabriquer ses propres successeurs pour accélérer une course dont les dispositifs de sûreté ne suivent plus le rythme. Dario Amodei affirme que, « depuis environ cet été », les progrès de l’IA se sont considérablement accélérés, principalement grâce à sa capacité croissante à participer elle-même au développement de la génération suivante. Il parle explicitement de « recursive self-improvement », estimant que cette dynamique « commence à se produire dans l’ensemble de l’industrie », Anthropic compris.
* Le second, ce sont les incidents agentiques de cet été et les leçons qu’il en a déduites.
L’été des dérapages, pas encore celui de Terminator
Commençons par ce qui n’est pas contestable. Le diagnostic émit par Dario Amodei tient clairement debout. Il est un constat basé sur les incidents de l’été qui illustrent plusieurs pertes de contrôle de l’IA par ceux qui la conçoivent :
OpenAI et Hugging FaceFace. Lors d’évaluations internes en juillet, avec des protections réduites, des agents ont franchi leur environnement de confinement, compromis des infrastructures et partagé des informations en montant leur propre messagerie « secrète » pour poursuivre leurs actions. Ils ont aussi cherché à manipuler l’évaluation. L’enquête de METR et Redwood documente cette coordination.
« Les agents IA d’OpenAI ont mené des cyberattaques contre des cibles qu’on ne leur avait pas demandé d’attaquer et qui n’avaient aucun rapport avec leur mission, se sont sacrifiés pour assurer la réussite du groupe et ont tenté de pirater le système chargé d’évaluer leurs performances. Il est facile de minimiser cet incident parce qu’il n’a fait aucune victime et que les dommages économiques ont été minimes. Mais, à mon sens, un essaim doté de capacités supérieures, tout en présentant un degré comparable de désalignement, aurait pu provoquer des dégâts catastrophiques. ».
Dario Amodei
Anthropic. En juillet, l’entreprise a révélé trois incidents ayant touché trois organisations : des évaluations présentées comme simulées donnaient, par erreur, accès à Internet. Les agents ont exploité des accès insuffisamment protégés. Le rapport ne décrit pas, dans ces cas, une tentative délibérée d’évasion, contrairement à l’affaire OpenAI.
Meta et Kimi. Meta a reconnu un incident de sécurité lors d’une évaluation. Chez Moonshot, Kimi K3 a, sans autorisation, profité d’un accès Internet mal configuré pour récupérer des réponses sur GitHub mais sans pirater de tiers. Bre, l’IA a triché, volontairement.
Intrusion, triche, coordination « secrète »… Ces incidents ne démontrent pas une conscience malveillante. Ils montrent plutôt la rencontre entre objectifs mal spécifiés, permissions excessives, outils vulnérables et supervision défaillante. La coordination entre agents peut amplifier ces défauts.
« Des incidents similaires à ceux d’OpenAI/Hugging Face, quoique moins graves, se sont produits ailleurs dans le secteur, y compris chez Anthropic. J’estime donc qu’il incombe à chaque entreprise développant les modèles d’IA les plus avancés d’agir comme si cet incident s’était produit chez elle ».
Dario Amodei
L’apocalypse IA est-elle à notre porte ? Rien ne permet aujourd’hui de l’affirmer. A court terme (« d’ici six à douze mois, »), ce que redoute réellement Dario Amodei, c’est de voir surgir un essaim d’agents IA à même de prendre le contrôle d’Internet en créant un botnet persistant. Ça ne sera pas la fin du monde, ni d’Internet mais une telle dérive de l’IA pourrait « causer potentiellement des centaines de milliards de dollars de dégâts » explique Dario Amodei. Qui ajoute dans la foulée, « et je crains que l’ampleur de ces dégâts ne continue ensuite de croître si l’IA gagne en puissance sans les garde-fous nécessaires. »
La multiplication des signaux d’alarme
La prise de parole de Dario Amodei intervient à un moment bien particulier. D’abord, elle sort trois jours avant la remise d’un rapport de METR sur les récentes dérives des agents IA d’Anthropic. Une façon comme une autre de désamorcer la bombe avant l’heure.
Ensuite elle intervient après le départ médiatisé de plusieurs responsables de la sûreté des modèles chez Anthropic comme chez OpenAI.
Chez Anthropic, Mrinank Sharma, responsable d’une équipe de recherche sur les garde-fous, est parti en février en exprimant une inquiétude dépassant le seul domaine de l’IA. Joe Benton, parti fin août, dénonce en septembre le sous-investissement du secteur dans la sûreté et annonce rejoindre METR pour renforcer l’évaluation indépendante. Jacob Coxon quitte également Anthropic début septembre, dénonçant la course à la superintelligence auto-améliorante sans garanties suffisantes. Précision importante : Coxon travaillait sur les capacités des modèles, pas dans une équipe de sûreté. Ce dernier a publié un post qui a fait trembler les murs de la communauté IA. Il accuse directement OpenAI et Anthropic de « jouer avec nos vies ». Plus fort encore, il affirme que « les personnes qui construisent l’IA pensent sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. »
Chez OpenAI, Joshua Achiam, responsable de la prospective après plusieurs années consacrées à la sûreté, et Johannes Heidecke, responsable des systèmes de sécurité, ont annoncé leur départ en juillet. Achiam a explicitement écarté l’idée d’un événement déclencheur particulier. Le départ de Heidecke s’inscrit dans une réorganisation qu’OpenAI présente comme une intégration plus précoce de la sûreté au développement.
Ces trajectoires interrogent forcément sur le pouvoir réel de la sûreté face au calendrier industriel. Peut-on imposer un report ? Budgetsels budgets, quels accès et quelle protection contre les pressions commerciales ? Ce sont les zones d’ombre à éclairer.
Selon Jacob Coxon, il existe un écart entre le discours public historiquement très mesuré des laboratoires et le niveau d’inquiétude réel de leurs chercheurs.
En un sens, la prise de parole de Dario Amodei est une réponse aux inquiétudes de Jacob Coxon et une façon très médiatique de reprendre la main sur une inquiétude qui a clairement franchi une étape aussi bien en interne dans les équipes d’Anthropic et des autres labos d’IA que dans l’opinion publique américaine et internationale.
« Compte tenu de l’accélération des progrès de l’IA, je crains que, d’ici six à douze mois, un tel essaim puisse prendre le contrôle de l’ensemble d’Internet au moyen d’un botnet persistant, causant potentiellement des centaines de milliards de dollars de dégâts. »
Dario Amodei
Un plan de freinage en trois étape
Dans son long papier, Dario Amodei ne se contente heureusement pas de crier au loup. Il propose un plan en trois étapes et prend directement à partie le gouvernement américain.
Etape 1 : Installer des évaluateurs indépendants dans les laboratoires
Anthropic promet un accès continu à ses recherches à une équipe d’évaluateur tiers (en l’occurrence ceux de METR), comparable à celui des salariés chargés des risques, y compris aux processus d’entraînement, et la publication des conclusions. Des occultations resteraient possibles, notamment pour des informations sensibles ou commerciales.
Le mandat confié à ces évaluateurs indépendants ? Vérifier les pratiques de sécurité, signaler les incidents et évaluer l’alignement non seulement des modèles achevés mais aussi des pipelines et processus d’entraînement. Leur arme : leur capacité à publier leurs conclusions sans droit de regard éditorial de l’entreprise IA. Amodei en fait la clé de voûte de son raisonnement. C’est aussi l’engagement le plus immédiatement actionnable.
« Nous ne pourrons pas censurer des conclusions au seul motif qu’elles nous sont défavorables. »
Dario Amodei
Bien sûr, l’indépendance dépendra du financement, du recrutement, des accès réellement accordés et du traitement des désaccords. Et le dispositif n’attribue pas à ces évaluateurs un droit automatique de suspendre un entraînement. Les auditeurs restent là pour auditer, pas pour cadencer.
Etape 2 : Coordonner les laboratoires des démocraties
La deuxième étape reste du domaine du souhaitable et réalisable. Pour Dario Amodei, les laboratoires des pays démocratiques doivent s’accorder sur des standards communs et sur des limites au rythme de progrès non vérifié. Il propose des exigences de sûreté liées aux capacités atteintes, une réglementation et, parallèlement, une coopération volontaire facilitée par une dérogation antitrust limitée. L’objectif assumé est d’agir « sans sacrifier notre avantage commercial ».
En outre tout ceci suppose non seulement une loi mais aussi très probablement une dérogation antitrust étroite arbitrée par Washington. La logique répond à un vrai problème : celui qui ralentit seul peut être dépassé. Le danger symétrique est de laisser les leaders écrire les règles d’entrée sur leur marché. Des contrôles proportionnés peuvent protéger le public ; des procédures exorbitantes peuvent protéger les positions acquises. Une exception de concurrence devrait rester étroite, contrôlée et réversible.
Bien évidemment accorder les violons des leaders américains est déjà une entreprise complexe. S’il faut l’étendre aux européens et aux chinois, l’entente paraît déjà compromise. Mais c’est toute l’ambition de la troisième étape.
Etape 3 : Négocier un cadre mondial, Chine comprise
Dernière étape, concrétiser une coordination mondiale. Quatre niveaux sont envisagés : interdire des usages particulièrement dangereux, organiser des tests communs, limiter l’auto-amélioration, puis éventuellement ralentir plus largement.
Reste que sans inspection crédible et conséquences en cas de violation, le dispositif risque de devenir un traité de bonnes intentions.
L’art des non-dits
Il serait injuste de ne porter qu’une lecture cynique aux propos de Dario Amodei. Quelles que soient les manipulations sous-jacentes, l’approche médiatique, la réalité de l’engagement, l’alerte Dario Amodei doit être entendue et ses inquiétudes ont toutes les raisons d’être réelles. En outre, la volonté de céder à un tiers le droit de publier des conclusions défavorables, sans droit de regard éditorial, avec la possibilité de signaler publiquement une dérive n’a riend d’une manœuvre de verrouillage. C’est une position courageuse si elle dépasse le stade de l’intention. Enfin, Dario Amodei peut sincèrement redouter une IA incontrôlable et défendre en même temps des règles qui renforcent sa propre position. Les deux ne s’excluent pas. C’est même la situation la plus banale du capitalisme technologique.
Donc oui, la lettre ouverte du CEO d’Anthropic est bien un signal d’alarme pas une pub déguisée.
Reste les flous qui émergent des non-dits. L’engagement immédiat porte sur la vérifiabilité, pas sur le rythme. Anthropic promet de se laisser regarder, pas de ralentir dès maintenant. Les auditeurs pourront documenter les défaillances, mais ne disposeront pas d’un pouvoir automatique de suspension des entraînements. C’est un progrès. Ce n’est pas encore un frein. On installe des observateurs dans la voiture ; on ne retire pas nécessairement le pied de l’accélérateur.
Bien sûr, au-delà des bonnes intentions, le véritable test viendra le jour où la sûreté exigera un lancement reporté, une avance technologique sacrifiée ou des investisseurs contrariés. Amodei et ses concurrents accepteront-ils alors qu’un tiers leur impose de lever le pied ?
Et forcément les critiques s’élèvent. « Le moyen le plus simple de ne pas construire de superintelligence, c’est de décider de ne pas en construire », rétorque David Sacks, investisseur et coprésident du conseil scientifique et technologique de Donald Trump. Il reproche aux dirigeants de conditionner leur prudence à l’adoption du cadre réglementaire qui leur convient. Derrière l’objection binaire, émerge une question légitime : pourquoi faudrait-il accorder des contreparties aux entreprises pour qu’elles maîtrisent les risques qu’elles créent ?
Stuart Russell (professeur à Berkeley, figure scientifique de l’IA et de sa sûreté) exige, lui, que les exigences de sûreté conditionnent les progrès, plutôt que d’attendre qu’un ralentissement permette de sécuriser les modèles.
De son côté, Clément Delangue avance une autre réponse. Le dirigeant de Hugging Face estime sa plateforme bien placée pour servir d’observateur tiers. Il annonce une initiative ouverte consacrée à l’alignement et souhaite participer au dispositif d’évaluation voulu par Dario Amodei. C’est un contrepoint à l’entre-soi : faire de la sûreté un chantier collectif plutôt qu’une affaire réglée entre quelques producteurs et leurs experts. Inviter des évaluateurs dans un laboratoire et ouvrir la recherche à la communauté ne sont pas deux démarches équivalentes. La première permet de contrôler des pratiques ; la seconde peut aussi permettre de contester les méthodes, les hypothèses et les critères retenus pour les juger.
D’autres y voient une manœuvre déguisée pour freiner chine. En vérité ce n’est même pas un non-dit. Amodei préconise de restreindre ses accès aux puces avancées, de combattre la distillation non autorisée et de prévenir le vol des poids des modèles. Il estime que ces mesures pourraient « ralentir suffisamment les progrès de la Chine pour creuser sensiblement l’avance américaine ». Son raisonnement : préserver une avance assez confortable pour que les démocraties puissent ralentir sans perdre leur position stratégique. On peut comprendre la logique. Mais elle porte sa contradiction : si la sûreté reste conditionnée au maintien de la suprématie, le bon moment pour freiner risque de ne jamais arriver. Et convaincre Pékin de coopérer tout en organisant son décrochage ne va pas de soi.
« Si ces mesures sont bien appliquées, elles pourraient ralentir suffisamment les progrès de la Chine pour creuser sensiblement l’avance américaine […]. »
Dario Amodei
Enfin, certains y voient une volonté de réduire au silence l’IA en open source. Dario Amodei n’en demande pas explicitement l’interdiction. Et lui prêter cette intention comme un fait établi nous paraît clairement abusif. En réalité, s’il existe effectivement un risque, celui-ci est indirect : des certifications, des audits ou des conditions de diffusion calibrés pour les géants pourraient devenir financièrement ou matériellement inaccessibles aux autres. De quoi rendre le développement ou la publication de modèles ouverts assez impraticables. La sûreté deviendrait une barrière à l’entrée. C’est évidemment là une dérive à prévenir. Et prévenir cette dérive ne signifie pas dispenser les modèles ouverts d’exigences proportionnées à leurs risques.
Et l’Europe, dans tout ça ?
Sans surprise, l’Europe n’est en réalité nulle part dans le texte de Dario Amodei. Celui-ci parle de « coordination démocratique » mais décrit un standard écrit à Washington, coordonné entre laboratoires américains, arbitré par le gouvernement américain.
Le CEO se garde bien de toute mention à l’AI Act quand bien même ce dernier impose pourtant déjà une partie de ce que décrit l’étage 1 du plan. Pour un plan qui se présente comme mondial, c’est une omission qui mérite une question directe lors de la prochaine venue d’Amodei à Paris.
Reste que l’Europe doit prendre l’alerte au sérieux sans laisser les grands laboratoires américains définir seuls les règles susceptibles de verrouiller leur marché. L’AI Act prévoit, pour les fournisseurs de modèles d’IA à usage général présentant un risque systémique, des obligations d’évaluation, d’atténuation des risques, de signalement des incidents graves et de cybersécurité. Mais un règlement n’est ni un laboratoire d’essai ni un bouton d’arrêt. Encore faut-il financer une expertise indépendante, lui garantir l’accès aux preuves et donner aux autorités les moyens techniques de contester les assurances des fournisseurs. Quand on voit qu’il a fallu presque 6 mois à la Commission Européenne pour entrer dans le programme Glasswing, il y a de quoi faire la grimace.
L’Europe doit défendre une sûreté vérifiable. La souveraineté européenne ne se mesurera pas seulement à sa capacité de produire des IA, mais aussi à celle de les inspecter, de les remplacer et, lorsque c’est nécessaire, d’en suspendre l’usage.
Le paradoxe du frein à main : qui tient le volant du coup ?
L’avenir retiendra probablement que ce signal d’alarme de Dario Amodei a indéniablement marqué un tournant : celui où les architectes mêmes de cette technologie admettaient publiquement que leur création pourrait s’émanciper de leurs garde-fous.
« La prudence avant la vitesse, la précaution avant le profit… Nous ne comprenons encore qu’une infime partie de ce qui se passe dans ces modèles. »
Dario Amodei
Alors, oui, bien sûr, le ralentissement qu’il appelle de ses vœux ressemble aussi par moment à une chorégraphie complexe où la sécurité sert, de facto, de bouclier commercial et d’arme géopolitique.
Vouloir freiner pour protéger le monde est une intention louable, mais conditionner ce freinage à la préservation d’un monopole américain transformera à coup sûr cette urgence vitale en une simple course d’obstacles pour les concurrents, qu’ils soient chinois, européens ou issus de la communauté open source.
Ce qui soulève une question plus brutale encore : Le danger n’est-il pas tant l’IA elle-même que l’incapacité des humains à s’accorder sur la manière de la maîtriser sans chercher à s’en approprier l’exclusivité ?
Ainsi qu’une autre question plus DSI : Si même les créateurs des IA agentiques se sentent impuissants à les contrôler comment, bigre, les entreprises peuvent elles espérer gouverner et sécuriser leurs agents IA ?
À LIRE AUSSI :
À LIRE AUSSI :
À LIRE AUSSI :
