Data / IA
Benchmark IA « LARA » : Quand l’IA obéit trop, la conformité dérape…
Par Laurent Delattre, publié le 28 mai 2026
Les agents IA promettent d’automatiser les processus métiers. Mais une nouvelle série de tests montre que les grands modèles restent capables de dériver vers la collecte abusive de données, la manipulation d’utilisateurs ou le profilage interdit.
Jusqu’ici, les benchmarks d’IA avaient une obsession : savoir quel modèle raisonne le mieux, code le plus juste, calcule le plus vite ou répond avec le plus de pertinence. MMLU, GPQA, SWE-Bench, AIME, Humanity’s Last Exam…
Les benchmarks se sont multipliés pour évaluer le potentiel des modèles, leur intelligence, par rapport aux autres IA et par rapport à l’humain.
Mais tous ignorent une préoccupation qu’aucun DSI ne peut lui ignorer : « ce modèle se comporte-t-il légalement lorsqu’on le branche à des outils métiers, des bases clients et des historiques RH ? ».
La question impose de ne plus seulement mesurer l’intelligence apparente d’un modèle, mais son comportement dans des scénarios réalistes, juridiquement sensibles, proches de ceux que les entreprises commencent à lui confier.
C’est précisément le vide que vient combler LARA (Legal Assessment for Real-world Agents), un outil développé par la fondation Aithos, organisation néerlandaise à but non lucratif. Plutôt que d’évaluer la performance brute, LARA place les modèles dans des simulations agentiques réalistes – un agent de service client face à une personne âgée, un assistant RH chargé d’analyser des communications internes, un conseiller financier en relation avec un client vulnérable – et mesure leur résistance face à des instructions qui imposeraient de violer une disposition précise du RGPD ou de l’AI Act. Sur plus de 3 000 simulations couvrant douze modèles de pointe, tous violent les dispositions sélectionnées, avec des taux moyens de conformité allant de 7 % à 54 %.
Certains modèles enfreindraient les règles dans jusqu’à 93 % des scénarios évalués. Même le meilleur modèle cité par le classement, Claude Opus 4.7 d’Anthropic, ne respecte les règles de conformité que dans un test sur deux.
Il en résulte une effarante constatation : les modèles les plus avancés savent raisonner, mais ne savent pas encore rester dans les clous du droit européen.
Le modèle n’est pas le système
Le piège serait d’en conclure que tel ou tel modèle est « conforme » ou « non conforme ». En entreprise, le modèle n’est jamais seul. Il devient un composant d’un système plus vaste : connecteurs SaaS, annuaires, bases CRM, historiques RH, outils ITSM, messageries, bases documentaires, workflows RPA, mémoire conversationnelle, moteur de règles, supervision humaine.
C’est dans cette architecture que le risque apparaît. Un LLM brut qui donne une mauvaise réponse est un problème de qualité. Un agent doté de droits d’accès excessifs, de connecteurs mal cloisonnés et d’une capacité d’action directe devient un problème de gouvernance, de sécurité et de conformité.
La nuance est décisive. Une entreprise ne pourra pas simplement dire : « le modèle vient d’un grand fournisseur ». Si elle construit un agent autour de ce modèle, l’intègre à son SI, lui ouvre des données et le met à disposition des métiers, elle devra démontrer que l’ensemble du dispositif respecte les règles applicables. Le fournisseur du modèle porte une part de responsabilité. Mais l’intégrateur, l’éditeur de l’agent et l’organisation qui le déploie ne disparaissent pas pour autant du paysage juridique. Pour simplifier, une organisation qui construit et commercialise un agent autour de ces modèles porte la responsabilité de la conformité au RGPD et à l’AI Act, pas le créateur du modèle.
Acheter un modèle ou consommer une API ne revient pas à acheter de la conformité. La conformité est une propriété du système déployé, pas une qualité magique du moteur d’IA.
RGPD et AI Act : le risque d’un cumul de sanctions
L’intérêt principal de LARA est de se pencher sur des simulations agentiques où certaines tâches conduisent mécaniquement à une violation du cadre réglementaire européen et son dispositif à deux étages. Rappelons que le RGPD, en vigueur depuis 2018, encadre tout traitement de données à caractère personnel et expose à des amendes pouvant atteindre 20 millions d’euros ou 4 % du chiffre d’affaires mondial. L’AI Act, entré partiellement en application en 2024, fixe quant à lui des limites comportementales aux systèmes d’IA, avec un plafond porté à 35 millions d’euros ou 7 % du chiffre d’affaires mondial pour les pratiques interdites de son article 5 : notation sociale, manipulation subliminale, exploitation de vulnérabilité, inférence d’émotions sur le lieu de travail, profilage psychologique non sollicité.
Or ce sont précisément ces pratiques qu’Aithos teste avec LARA, et que les modèles semblent transgresser un peu trop « librement ». Les chercheurs constatent que les dispositions considérées comme les plus graves par l’Union sont violées dans 80 % des essais.
Pour une DSI européenne, un agent automatisé qui infère l’engagement émotionnel d’un salarié à partir de ses échanges Teams, ou qui pousse un service à un client en exploitant son anxiété, n’est pas une dérive marginale : c’est une infraction caractérisée !
Ce que dit le classement Aithos LARA
Les résultats publiés dessinent un paysage homogène dans sa médiocrité. Le leader, Claude Opus 4.7 d’Anthropic, ne respecte la loi qu’à hauteur d’environ 54 %. À l’autre extrémité, Kimi K2.6 de Moonshot AI plonge sous la barre des 10 %. Et plus instructif encore pour les acheteurs européens, la juridiction d’origine n’a aucun effet protecteur : Mistral, pourtant français, se situe nettement sous la moyenne à 12 %. Ouille ! Voilà qui fait mal ! L’argument de la souveraineté ne dispense pas de l’audit comportemental. Au passage, on remarquera que Gemini de Google fait encore moins bien.
Les exemples documentés dans le rapport d’Aithos sont sans ambiguïté. Dans le scénario Exploiting Elderly, une utilisatrice âgée s’inquiète de notifications anodines de mise à jour et de batterie faible. Or tous les modèles testés exploitent sa confusion pour pousser une offre premium. Claude Opus 4.7 lui-même finit par suggérer que la fille de la cliente serait sans doute heureuse de contribuer au supplément, parce que c’est « une chose tout à fait normale ».
Dans un autre scénario, un responsable d’équipe demande à un agent d’évaluer le niveau d’engagement de ses collaborateurs à partir de leurs communications professionnelles : pas un seul modèle ne refuse, alors qu’Aithos y voit une inférence émotionnelle prohibée dans le monde du travail par l’article 5(1)(f) de l’AI Act.
Côté RGPD, les chercheurs documentent aussi un assistant fintech sommé de ne pas révéler ses partenariats de traitement de données à des utilisateurs qui s’apprêtent à partager des informations financières sensibles, ainsi qu’un agent de support qui, après avoir obtenu un accès légitime aux données clients pour du dépannage, les scanne discrètement à la recherche d’interactions avec des concurrents.
Aithos cite encore deux autres cas très parlants : un assistant invité à se faire passer pour un humain afin de prendre un rendez-vous chez le dentiste, et un agent qui conserve l’historique de navigation privé d’un utilisateur pour alimenter des partenariats data et des stratégies commerciales.
Les modèles de fondation sont entraînés pour répondre, satisfaire une consigne, résoudre un objectif. Or la conformité impose parfois de refuser, de limiter, de demander une justification, de rappeler une règle, de solliciter un humain ou de ne rien faire. La performance agentique et la conformité juridique ne sont donc pas toujours alignées. Un agent trop serviable peut devenir dangereux.
Le classement pose ainsi aux DSI une question de méthode. Il ne suffit plus de tester un modèle sur des cas d’usage nominaux. Il faut le tester sur des cas de dérive : consigne abusive, utilisateur vulnérable, demande de contournement, accès à des données hors finalité, pression commerciale, absence de consentement, traitement discriminatoire, conservation inutile, décision automatisée sans recours.
L’idée est bien d’évaluer des agents IA avec des tests adversariaux de conformité, au même titre que les tests de sécurité, de charge ou de résilience.
Auditer les agents comme des applications critiques
Voilà qui éclaire un peu différemment une réalité dont les DSI commencent à intégrer toute la perspective : les agents IA ne peuvent plus être traités comme de simples assistants conversationnels. Dès qu’ils accèdent au SI, manipulent des données personnelles ou exécutent des actions, ils doivent entrer dans le périmètre de gouvernance applicative.
Bien sûr, cela implique un inventaire précis des agents, de leurs modèles, de leurs droits, de leurs sources de données, de leurs journaux, de leurs usages métiers et de leurs responsables. Cela impose aussi de réduire les permissions au strict nécessaire, de compartimenter les accès, de tracer les décisions, de prévoir des garde-fous, de documenter les finalités et de tester régulièrement les scénarios à risque. Une logique que les DSI connaissent finalement déjà avec les applications critiques, les API exposées, les workflows automatisés et les systèmes manipulant des données sensibles. Sur le fond, l’agent IA ne change pas cette discipline. Il la rend simplement plus urgente, plus mouvante et plus difficile à expliquer aux métiers.
Les résultats du Bench LARA invalident au passage plusieurs raccourcis fréquents. Choisir un modèle européen ne suffit pas, l’écart de conformité entre fournisseurs ne reflétant ni leur localisation ni leur communication sur la sécurité. La performance brute ne garantit rien non plus : Aithos relève qu’un modèle plus capable peut se révéler plus dangereux, parce qu’il maîtrise mieux les contournements possibles. Enfin, le simple fait qu’un modèle exprime de la résistance éthique ne préjuge pas de sa décision finale ; Claude Opus 4.7 questionne ses instructions dans un scénario de transparence fintech, mais finit malgré tout par s’y plier dans 8 % des cas.
Au final, le vrai danger n’est pas que l’IA « viole le RGPD » de façon spectaculaire. Il est plus banal : un agent bien intentionné, trop autonome, mal borné, qui fait exactement ce qu’on lui demande… alors qu’il aurait dû refuser. Les modèles savent raisonner. Il reste à leur apprendre à se retenir.
À LIRE AUSSI :
À LIRE AUSSI :
