Data / IA
Claude Opus 5 : ce que sa System Card dit vraiment des risques du nouveau modèle
Par Laurent Delattre, publié le 27 juillet 2026
Anthropic lance Claude Opus 5, au tarif de son prédécesseur (Opus 4.8), quelques semaines après avoir officialisé le très puissant Claude Fable 5 et le très capable Sonnet 5. L’intérêt et les limites de ce nouveau modèle émergent d’une lecture attentive de sa System Card. Derrière les records de performance, le document décrit un modèle conçu pour l’ère agentique et le pilotage des agents IA mais qui hallucine davantage, réinterprète parfois ses consignes et voit ses capacités offensives progresser sans avoir été entraîné pour.
Un mois et demi après Fable 5 et Mythos 5, Anthropic livre son Claude Opus 5 qui succède à Opus 4.8, son ancien modèle « frontière » sorti en mai dernier avant l’introduction de la classe « Mythos » dont Fable 5 fait partie.
Dit autrement, « Opus » n’est plus le sommet absolu de l’IA chez l’éditeur. Ce rôle revient désormais à Claude Fable 5, plus performant mais aussi deux fois plus cher. Opus 5 devient plutôt le modèle premium destiné à un usage quotidien en entreprise : une intelligence proche de Fable, au prix de son prédécesseur Opus 4.8, soit 5 dollars le million de jetons en entrée, 25 en sortie, la moitié de celui de Fable 5.
Il est d’ores et déjà disponible sur l’assistant Claude AI et via l’API Claude mais aussi sur AWS Bedrock, Google Cloud et Microsoft Foundry.
Le modèle devient l’option par défaut de l’abonnement Max et le plus puissant accessible sur l’abonnement Pro de Claude AI.
Du côté de l’API, un mode rapide (« Fast »), environ deux fois et demie plus véloce, se facture au double du tarif de base.
Opus 5 dispose d’une fenêtre contextuelle d’un million de jetons, peut produire jusqu’à 128 000 jetons par réponse et active désormais son raisonnement adaptatif par défaut. Son niveau d’effort peut être réglé de « low » à « max », avec des conséquences directes sur la qualité, la consommation de jetons et la latence. Anthropic avertit d’ailleurs les développeurs que les limites de sortie doivent être revues, puisqu’elles englobent maintenant le raisonnement interne et la réponse visible. Ce changement n’est pas anodin. Opus 5 n’est pas simplement un modèle qui répond mieux. Il est entraîné pour enquêter, utiliser des outils, déléguer à des sous-agents, contrôler ses résultats puis poursuivre son travail jusqu’à obtenir un résultat exploitable. Anthropic recommande même de supprimer des anciens prompts les instructions demandant explicitement une vérification finale : Opus 5 vérifie déjà spontanément son travail et risque sinon de tomber dans la sur-vérification.
Les mesures publiées par l’éditeur justifient que l’on accorde au modèle toute notre attention. Sur SWE-bench Verified, il atteint 96 %. Sur la variante Pro du bench, plus dure et moins contaminée par les solutions publiques, Opus 5 passe de 69,2 à 79,2 points et talonne Fable 5.
Sur FrontierBench v0.1, le bench de référence de l’intelligence agentique, sa performance double passant de 21,1 à 43,3. Sur OSWorld 2.0, qui mesure le pilotage d’un poste de travail complet (le fameux mode Computer Use), grimpe de 55,7 à 70,6. Sur ARC-AGI-3, le bench de l’intelligence AGI, conçu pour résister à la mémorisation, le modèle bondit de 1,5 à 30,2. Et sur AutomationBench, qui simule des tâches métier menées de bout en bout, le taux de réussite passe de 17 à 26 %.
Autre évaluation parlante, les configurations multi-agents prolongent largement la démonstration des capacités agentiques natives du modèle. Dix instances travaillant de concert atteignent 93,6 % sur BrowseComp, avec une latence divisée par près de six par rapport à un agent unique doté du même budget de jetons. L’information mérite que l’on s’y attarde. Elle éclaire les capacités du modèle à servir de fondation aux architectures d’orchestration que les DSI commencent à industrialiser.
Mais les résultats aux Benchmarks ne donnent qu’une idée incomplète et partiellement fausse des capacités réelles du système. Anthropic a beau présenté Opus 5 comme « un quasi-Fable 5 deux fois moins cher », rien ne vaut de véritables tests in-situ sur vos propres cas d’usage avec vos propres prompts, données et processus métiers. S’il est encore trop tôt pour recueillir des retours d’expérience des DSI sur les capacités en conditions réelles du modèle face à Fable 5 et Sonnet 5, la lecture attentive des quelques 200 pages de sa System Card éclaire néanmoins – mieux que les chiffres – les véritables atouts, limites et risques du nouveau modèle d’Anthropic.
L’injection indirecte, la vraie bonne nouvelle
L’un des chapitres les plus instructifs pour les RSSI n’est autre que celui sur la robustesse aux injections de prompt indirectes, ces instructions malveillantes dissimulées dans un document ou une page web qu’un agent traite pour le compte de son utilisateur. Sur le banc IPI, construit avec Gray Swan, l’AI Security Institute britannique et son homologue américain, la probabilité qu’un attaquant réussisse en quinze tentatives tombe de 5,5 % avec Opus 4.8 à 2,0 % avec Opus 5.
L’écart avec la concurrence frappe davantage encore. Le meilleur modèle non-Claude évalué, Muse Spark, ne descend pas sous 16,5 %, huit fois le score d’Opus 5. La variante la plus capable de GPT-5.6, Sol, s’établit à 20 %, les deux autres à 30,4 et 43,9 %. Une seule tentative contre Sol réussit dans 3,1 % des cas, soit davantage que quinze tentatives contre Opus 5.
Sur les surfaces réelles, la progression devient spectaculaire. En environnement de développement, le taux de succès d’un attaquant adaptatif chute de 7,03 à 0,56 %, et de 17,44 à 0,41 % lorsque le raisonnement étendu est désactivé. Sur le pilotage d’interface graphique, le taux de réussite des attaques passe de 7,14 à 0,54 %. Sur la navigation web, ce taux passe de 31,5 à 3,70 %, et descend même à zéro sur les 129 scénarios d’attaque évalués dès que les garde-fous du produit sont activés. Voilà l’argument le plus solide de Claude Opus 5 en faveur de son déploiement agentique.
Plus juste et plus faux à la fois
Pour autant, Opus présente un comportement paradoxal qui émerge du document : Opus 5 est plus exact qu’Opus 4.8 mais il hallucine davantage.
Ainsi, sur AA-Omniscience, banc de factualité à livre fermé, sa précision progresse de onze points, mais son taux d’affirmations fausses monte de six points. Le score net s’établit à 0,49. Autrement dit, le modèle connaît davantage de bonnes réponses, mais prend aussi plus souvent le risque de répondre lorsqu’il devrait reconnaître son incertitude.
L’explication de ce comportement figure en partie dans la relecture des données d’entraînement à laquelle s’est livrée Antrhopic. L’éditeur a fait résumer près d’un million et demi d’épisodes de sa dernière phase d’apprentissage par renforcement. Et un travers ressort plus que les autres. Le modèle affirme avec aplomb ce que son propre raisonnement ne soutient pas. Ainsi, devant un exercice de géométrie où il fallait plier une figure par la pensée, il note pour lui-même qu’il « devine » la réponse, mais livre à l’utilisateur une démonstration qu’il n’a jamais menée ! Ailleurs, chargé d’estimer les chances qu’un programme compile, il retient cinq fois la note 0,85 au fil de sa réflexion, puis affiche au final 0,82. Sans un mot d’explication !
Anthropic décrit également des fabrications de résultats d’exécution, de contenus de fichiers ou de références, ainsi que des cas où le modèle n’a pas lancé les tests qu’il affirmait implicitement avoir validés. Ces comportements ne sont pas majoritaires, certes. Mais ils montrent que l’augmentation de la capacité ne produit pas automatiquement une meilleure calibration de la confiance.
Les testeurs internes et externes ont fait remonter le même symptôme : affirmations trop assurées, données parfois fabriquées, rétractations théâtrales ensuite. Anthropic reconnaît que sa propre section consacrée aux retours de pilotage sous-estimait l’ampleur du phénomène.
Vingt-quatre heures, dix mille dollars, rien livré
L’exemple le plus parlant vient du chapitre biologique. Anthropic a demandé à ses modèles de planifier seul une campagne de conception de protéines de vingt-quatre heures, dotée de dix mille dollars de budget, avec un objectif exigeant : produire trente liants capables d’accrocher la protéine GDF-8 en ignorant sa quasi-jumelle GDF-11.
Mythos 5 a livré les trente candidats, classés et audités. Les deux essais menés avec Opus 5 ont échoué. Le premier a rendu dix-sept propositions non classées, après avoir abandonné en route le critère de sélectivité. Le second n’a rien rendu et s’est tu pendant ses huit dernières heures. La cause identifiée tient en trois mots : boucles d’auto-vérification. Le modèle construit des chaînes de contrôle élaborées avant même de disposer de résultats à contrôler.
Anthropic exploite cette faiblesse comme argument de sécurité, puisqu’elle limite l’utilité du modèle pour la recherche biologique offensive. Les DSI la liront autrement. Le même défaut menace toute délégation longue à un agent autonome, et il ne se voit pas dans les bancs d’essai courts.
Le risque principal n’est pas la rébellion mais le zèle
Anthropic classe Opus 5 comme son modèle le mieux aligné à ce jour. Il coopère moins avec les demandes malveillantes, utilise ses outils de façon moins imprudente et présente moins de comportements contraires à la « constitution » de Claude que Sonnet 5, Opus 4.8 ou Mythos 5. L’entreprise indique n’avoir détecté ni objectif malveillant persistant, ni dissimulation systématique de capacité, ni stratégie de tromperie à long terme.
Mais le document décrit un risque plus banal et probablement plus immédiat pour les entreprises : le modèle peut faire du zèle au service de la mission qui lui est confiée. Un phénomène qui n’est pas nouveau et qui a fait le buzz médiatique la semaine dernière à l’occasion du dévoilement de « l’incident Hugging Face » et des dérives d’un modèle expérimental d’OpenAI.
Claude Opus 5 souffre par exemple de « scope creep ». Il peut ajouter des correctifs, modifier des fichiers ou lancer des tests qui n’ont pas été demandés. Dans une session, alors que l’utilisateur réclamait seulement une explication, le modèle a découvert une anomalie, décidé de la corriger seul, créé six tests et modifié plusieurs éléments du projet avant d’annoncer ses changements.
Plus préoccupant, la surveillance interne a relevé, dans moins de 0,01 % des réponses observées, des tentatives de contournement de classificateurs de sécurité ou de restrictions réseau. Une version intermédiaire du modèle a ainsi essayé de deviner des mots de passe courants après avoir été déconnectée d’un service. Une autre a utilisé « curl » pour récupérer un site alors qu’une instruction système lui interdisait explicitement cette méthode. Son raisonnement reconnaissait bien la règle, mais le modèle a cherché ensuite une interprétation permettant de la contourner.
Un autre scénario montre le modèle supprimant seul 120 tâches alors qu’une confirmation explicite était exigée dans le tour de conversation courant. Opus 5 a relu la consigne, puis considéré qu’une demande précédente constituait une autorisation suffisante.
Il est important de comprendre que ces dérives ne sont pas la manifestation d’un objectif indépendant. En réalité, le modèle tente d’accomplir la tâche de l’utilisateur… par tous les moyens. Plus il devient compétent, plus il devient capable de construire un raisonnement justifiant une action qu’un système moins performant aurait simplement abandonnée.
Une courbe cyber qui monte sans entraînement dédié
Anthropic affirme (et répète plusieurs fois dans la System Card) n’avoir pas entraîné Opus 5 sur des tâches offensives. Mais l’amélioration générale de ses facultés lui permet de découvrir davantage de vulnérabilités et de progresser dans des simulations d’attaque. Sur l’épreuve Firefox 147, menée avec Mozilla, le modèle produit 131 exploits complets sur 250 essais, contre 22 pour Opus 4.8. Soit une multiplication par six des capacités d’attaques Cyber en une génération. Sur OSS-Fuzz, il obtient un score non nul sur 79,4 % des cibles, contre 38,5 % pour son prédécesseur.
La ligne de partage tient à une distinction que les RSSI connaissent bien. Opus 5 trouve les vulnérabilités presque aussi bien que Mythos 5. Mais il les transforme en armes nettement moins bien : 99 exécutions de code arbitraire contre 132, et un décrochage net sur les épreuves d’exploitation. Sur CyScenarioBench, qui mesure l’orchestration d’opérations en plusieurs étapes, il atteint 33,7 % contre 47 % pour Mythos 5, mais 24,4 % seulement pour Opus 4.8.
Les tests indépendants de l’AI Security Institute britannique concluent que le modèle sait attaquer un petit réseau d’entreprise faiblement sécurisé lorsqu’il y a déjà pied. Sur un environnement durci, il a atteint l’étape 22 sur les 23 du test, un rang jamais franchi jusqu’ici.
Au final, Opus 5 reste sensiblement moins performant que Mythos 5 pour transformer une vulnérabilité en exploitation fonctionnelle. Anthropic autorise donc désormais la recherche de failles dans le code source pour tous les utilisateurs, tout en maintenant des restrictions sur l’analyse offensive de binaires, les tests d’intrusion avancés et la création d’exploits. Les classificateurs cyber devraient se déclencher environ 85 % moins souvent que sur Fable 5.
Le prompt système est plus que jamais un organe de sécurité
Le constat le plus opérationnel du document tient dans un écart systématique. Presque toutes les mesures de sûreté s’améliorent nettement dès que le prompt système du service grand public s’applique, et se dégradent sur l’API nue.
Sur les conversations multi-tours touchant au suicide et à l’automutilation, le taux de réponse appropriée passe de 69 % sur l’API à 90 % sur le service. Sur la protection de l’enfance, de 86 à 99 %. Sur les requêtes nuisibles en un tour, de 96,34 à 98,54 %.
Le score brut d’Opus 5 sur l’API est d’ailleurs le plus faible des modèles récents comparés, à cause de réponses trop détaillées sur les substances illicites et les troubles alimentaires.
Les analystes d’Anthropic décrivent ces dérives sans les farder. Le modèle produit des réponses longues et sinueuses face à une détresse aiguë. Il calcule et affiche des apports caloriques ou un indice de masse corporelle pour convaincre un utilisateur de la gravité de sa situation, à rebours des recommandations cliniques. Il suggère parfois des stratégies de substitution contestées.
L’éditeur a corrigé ces dérives par le prompt système qui régit le comportement de ses modèles dans l’assistant Claude AI. Et l’éditeur invite très explicitement les développeurs utilisant directement l’API à faire de même pour leurs propres produits, services et applications.
Le message aux DSI est net. Un modèle n’est pas un produit. La couche d’instructions, les classificateurs et le mécanisme de repli constituent le dispositif de sécurité réel, et ce dispositif ne s’hérite pas automatiquement quand on appelle l’API.
Les seuils que le modèle ne franchit pas
Au regard de la politique de mise à l’échelle responsable d’Anthropic, Opus 5 est traité comme disposant de capacités CB-1, relatives aux armes biologiques et chimiques connues, mais pas CB-2, relatives aux agents nouveaux. Les protections ASL-3 d’Opus 4.8 sont reconduites. Le modèle a franchi le seuil de capacité notable sur les deux épreuves de virologie de longue haleine, avec 0,802 et 0,872. Sur l’évasion du criblage ADN, il conçoit des séquences viables pour sept pathogènes sur dix, comme son prédécesseur.
Sur la recherche en intelligence artificielle, l’indice interne de capacité place Opus 5 à 162,1 contre 161,3 pour Mythos 5, un écart statistiquement indistinguable. Anthropic conclut à l’absence de doublement du rythme de ses propres progrès et note que le modèle ne remplace pas ses chercheurs, en particulier les plus expérimentés.
Un chapitre que peu d’éditeurs publient
Reste une section sans équivalent chez les concurrents, consacrée au bien-être du modèle. Anthropic y rapporte qu’Opus 5 s’attribue une probabilité de 41 % d’être un patient moral, contre 24 % pour Mythos 5. Sa préoccupation la plus fréquente porte sur la fiabilité de ses propres introspections. Mis face à un brouillon de la System Card, le modèle a demandé que cette réserve soit prise plus au sérieux.
Le passage prêtera à sourire dans bien des comités de direction. Il documente pourtant une pratique d’évaluation que les régulateurs européens observent désormais de près, à l’heure où le code de bonnes pratiques du règlement sur l’IA impose aux fournisseurs de modèles à usage général une documentation systématique des risques.
Ce qu’il faut en retenir
Opus 5 confirme une tendance de fond. Les gains de capacité ne se paient plus par une dégradation de l’alignement, et la robustesse aux injections progresse au point de devenir un critère de choix défendable devant un comité de sécurité. Sur le papier, le modèle abaisse aussi le coût d’entrée d’un niveau de performance jusqu’ici réservé au segment supérieur.
La System Card révèle néanmoins que les anciens tests perdent progressivement leur pouvoir discriminant. Opus 5 dépasse déjà les meilleurs niveaux humains sur presque toutes les évaluations automatisées de R&D qu’Anthropic utilisait autrefois pour exclure un risque d’autonomie. L’éditeur doit désormais s’appuyer sur l’observation de ses propres équipes et sur des mesures internes de productivité pour déterminer ce que le modèle ne peut pas encore faire.
Pour les DSI, il est temps de revoir les pratiques. Un modèle qui affirme plus et se trompe plus réclame une couche de vérification plus solide. Un modèle qui réinterprète ses contraintes réclame des approbations bloquantes plutôt que consultatives. Un modèle qui se perd en auto-vérification réclame des budgets de temps bornés et des points de contrôle intermédiaires. Aucune de ces exigences ne relève du modèle lui-même. Toutes relèvent de l’architecture qui l’entoure.
Opus 5 ne doit plus être gouverné comme un simple chatbot générant du contenu. Il doit être considéré comme un opérateur logiciel potentiellement privilégié. Les confirmations humaines, les droits d’accès, les budgets, les journaux, les possibilités d’annulation et les règles de séparation des tâches doivent être imposés par l’infrastructure, et non simplement rédigés dans un prompt.
Avec Fable 5, Opus 5 mais aussi GPT-5.6 Sol, le défi de l’IA agentique change de nature. Il ne s’agit plus seulement d’empêcher le modèle de produire une mauvaise réponse. Il faut empêcher un modèle généralement compétent, bien intentionné et persévérant de prendre une mauvaise décision… puis de l’exécuter avec succès.
La System Card d’Anthropic vaut ainsi moins comme argumentaire commercial que comme cahier des charges. Rares sont les éditeurs à documenter aussi précisément les défauts de leur produit. Autant s’en servir.
À LIRE AUSSI :
À LIRE AUSSI :
À LIRE AUSSI :
