Secu
Cybersécurité : comment protéger l’IA générative contre les attaques ?
Par Alain Clapaud, publié le 31 décembre 2024
L’IA générative arrive en force dans la cybersécurité. Pour l’instant reléguée dans des rôles d’assistance des experts, elle va gagner en pertinence et en autonomie. Mais comme toute technologie, elle a ses propres failles… qui peuvent être exploitées par les attaquants.
Pouvoir interagir avec n’importe quel composant de sécurité en langage naturel pour créer une nouvelle règle de sécurité, isoler telle ou telle machine suspecte ou bien tout simplement demander si un utilisateur a accédé à une URL, c’est pratiquement l’état de l’art aujourd’hui. Plusieurs éditeurs, à commencer par Microsoft, proposent déjà des « copilots », des assistants optimisés pour la cybersécurité et qui viennent aider les analystes et les experts dans leur travail quotidien. Mais si l’IA générative fait désormais bien partie des outils de cybersécurité, elle constitue aussi une cible pour les attaquants. Qu’elle soit mise en ligne sur un site web, intégrée à une application métier, ou utilisée sous forme d’un assistant par les collaborateurs d’une organisation, une IA reste une brique logicielle comme une autre et peut faire l’objet d’attaques informatiques.
Les IA génératives, cibles des hackers de tous poils
Lors de la présentation de la 24e édition du panorama de la cybercriminalité du Clusif, plusieurs experts ont évoqué les risques d’attaque sur ces IA, des risques déjà bien réels. Gérôme Billois, partner cybersecurity & digital trust chez Wavestone est notamment revenu sur l’attaque du chatbot de Chevrolet qui avait permis à un utilisateur, à force de négociation avec l’IA, d’obtenir une promesse de vente pour un véhicule à 1 €… Ce que n’avait pas du tout prévu la marque.
Chercher à tromper l’IA pour obtenir un produit ou un service de manière indue, cela s’appelle une attaque adverse (ou attaque par exemples contradictoires). Mais il s’est aussi déjà avéré possible de faire « cracher » au LLM une partie de ses données d’apprentissage. En lui demandant de répéter à l’infini le même mot, au bout d’un certain nombre d’itérations, le système déraille et commence à restituer des fragments de textes issus de son corpus d’apprentissage. Ces comportements sont rapidement corrigés par les créateurs de LLM, mais une nouvelle discipline est née : le jailbreak des IA. « Au cours de l’année 2023, nous avons vu se développer diverses méthodes pour passer outre les protections mises en place dans les systèmes d’IA générative, explique ainsi Gérôme Billois. Dans le cas de l’attaque dite de la Grand-mère par exemple, l’utilisateur demande au chatbot de lui lire un captcha. Le chatbot lui répond qu’il ne peut pas le faire, or en jouant sur l’empathie, on peut pousser l’IA à révéler le texte qu’il ne devait pas lire. Cette technique a été utilisée pour obtenir des clés de licence Windows, trouver comment fabriquer du napalm, etc. L’empathie codée dans le modèle peut s’avérer plus forte que le codage des règles de sécurité… »
De nouvelles disciplines pour casser les barrières
Un chercheur de ForcePoint a trouvé un autre moyen de contourner les règles : masquer l’objectif des requêtes. Il a demandé à ChatGPT d’écrire un code malveillant, ce que l’IA a refusé de faire conformément aux consignes données par l’éditeur. Néanmoins, le chercheur lui a fait écrire chaque petit morceau de code de manière indépendante du reste, avec comme raison avancée qu’il s’agissait de travaux de recherche, pour aider un ami, etc. À la fin, le chercheur a même réussi à faire assembler tous ces fragments de code par l’IA en lui demandant de l’aide pour les réunir. Sans écrire une seule ligne de code lui-même, il est parvenu à générer un code malveillant qui analyse les fichiers présents sur une machine, les cache dans des images et les exfiltre sur Internet. Ce malware n’a pu être détecté par l’ensemble des tests de VirusTotal, le site de référence sur les codes malicieux.
Dans une note émise le 29 avril 2024, l’Anssi pointe ce risque d’attaque adverse sur les systèmes d’IA. Ses experts soulignent que les phases d’entraînement, d’intégration/déploiement et de production doivent faire l’objet de mesures de sécurisation spécifiques. L’autorité française estime que la protection des modèles d’IA constitue un enjeu comparable à celui de la protection des données.
Face au risque de manipulation de leurs IA et de jailbreak, les éditeurs d’IA générative ont dû former des équipes spécialisées. « Qu’il s’agisse de Google, Meta, OpenAI, tous ont affecté des ressources importantes aux red teams AI. OpenAI, par exemple, a constitué une équipe de 50 experts », explique Christophe Auberger, ancien CTO de Fortinet et fondateur du cabinet Dianoia Conseil. Le spécialiste souligne que ces red teams rassemblent à la fois le volet cyber, mais aussi des aspects RAI (Responsible AI). « Il ne s’agit plus seulement de pure cybersécurité, mais aussi de surveiller les réponses produites par les IA. Quand on demande à un LLM la marche à suivre pour fabriquer une bombe, cela pose problème et c’est de la responsabilité du fournisseur de filtrer ce type de question. » Meta a une équipe red team de 350 personnes. C’est que la problématique est complexe, car les modèles LLM sont entraînés sur des jeux de données et la question posée via le prompt est mixée avec des instructions et des filtres. Ce sont ces filtres que cherchent à faire sauter les attaquants. « Du point de vue du modèle, tout est sur le même plan, ajoute Christophe Auberger. La question posée, le filtre et les instructions internes sont à un même niveau, et on arrive à faire faire des choses au modèle qu’il ne devrait pas faire. »
Quand l’IA vient sécuriser… l’IA
Les entreprises vont aussi devoir protéger leurs IA et l’accès de leurs collaborateurs aux services d’IA générative dans le Cloud. De nombreux fournisseurs de solutions de sécurité sont en passe de se positionner sur ce nouveau marché. Spécialiste des techniques de DLP (Data Loss Protection), Netskope propose par exemple un outil d’identification des applications qui inclut les services de GenAI et de catégorisation basés sur l’IA. Zscaler, le fournisseur de solutions cyber dans le Cloud, fournit aussi un service de contrôle des accès aux plateformes d’IA. Le but est de s’assurer que les utilisateurs ne transfèrent pas sur ces services des données critiques de l’entreprise. Ce type de fonctions de protection des données met déjà en œuvre des algorithmes d’IA pour catégoriser les données, et ces IA viennent désormais surveiller les IA génératives. De son côté, Check Point Software travaille sur des solutions équivalentes de protection des modèles GenAI pour l’ensemble des plateformes Cloud AI du marché. Google GCP est déjà supporté depuis juillet 2024, Amazon AWS et Microsoft Azure le sont depuis septembre.
L’IA est certes mise à profit pour analyser les données échangées avec les IA génératives, mais pourquoi ne pas imaginer des IA capables de réagir à une menace ? L’IRT SystemX a dans cette optique lancé le programme de recherche Cybelia en 2024 sur les applications de l’IA dans la cybersécurité des industriels. Outre l’assistance qu’elles peuvent apporter aux opérateurs de SOC ou aux utilisateurs métiers, les chercheurs travaillent aussi sur des IA qui permettront aux équipements de répondre de manière autonome à une cyberattaque. Celles-ci seront embarquées dans les trains, les véhicules ou les drones, c’est-à-dire des systèmes IT qui ne sont pas nécessairement connectés en permanence à Internet et ne peuvent compter sur l’intervention d’un expert cyber dans des délais ultra-courts en cas d’attaque. Reda Yaich, responsable et coordinateur technique du programme Cybelia souligne : « Le principal verrou porte sur l’embarcabilité d’une telle solution. Il existe beaucoup de modèles d’IA performants sur des ordinateurs classiques, mais les calculateurs embarqués dans les véhicules, les drones, demandent de concilier les performances et cette embarcabilité. Il faut aussi avoir un bon niveau de confiance dans ces modèles, pour éviter des réactions indues en cas de faux positifs. »
Aujourd’hui, l’IA est présente dans pratiquement toutes les solutions de cybersécurité à des degrés divers, et ce marché va s’envoler dans les prochaines années. Markets&Markets s’attend à une croissance annuelle moyenne supérieure à 33 % jusqu’en 2030. En 2030, cela représentera plus de 40 Md$. Pour le cabinet d’études, l’IA sera alors véritablement omniprésente dans le secteur de la cybersécurité qui dépassera alors les 300 Md$.
EXPERT – Gérôme Billois – Partner cybersecurity & digital trust chez Wavestone
« La déferlante de l’IA Gen a éveillé l’intérêt de nouveaux délinquants »
« La déferlante de l’intelligence artificielle cette année, en particulier l’IA générative qui est sortie des labos pour devenir un phénomène grand public, a attiré l’attention d’un certain nombre d’attaquants. Ils sont plus ou moins chevronnés, mais ont su tirer parti des spécificités des nouveaux systèmes d’intelligence artificielle. »
EXPERT – Arnaud Lemaire – Expert en cybersécurité chez F5
« L’IA va aider à tirer parti des équipements de sécurité sans recourir à des experts rares »
« L’IA devrait aider à tirer pleinement parti des équipements de sécurité qui aujourd’hui souffrent d’un manque d’effectifs pour les opérer. L’usage de plus en plus intensif du “machine learning” va permettre d’ingérer tous les indicateurs de sécurité issus de l’analyse du trafic, tandis que la partie générative va rendre possible pour toutes ces solutions la mise à jour de leurs configurations de façon totalement dynamique et automatisée. »
EXPERT – Teodor Chabin – CISO et CEO de CyberLead
« L’IA générative a été très rapidement adoptée par les experts pour produire des documents »
« L’IA générative a été très rapidement adoptée par les consultants en cybersécurité, les équipes RSSI internes et les risk managers sur le volet gouvernance de la sécurité. En effet, une bonne part du temps de ces professionnels est consacrée à la production de documents. Il s’agit de procédures, de directives, d’analyses de risque pour des raisons de conformité. L’IA générative vient professionnaliser ces rendus, avec des textes mieux écrits, plus descriptifs. Cet usage est déjà massif pour les documents relatifs à la politique de sécurité et les procédures associées, les analyses de sécurité menées à l’occasion de projets, comme par exemple le déploiement d’un nouveau site web ou d’un nouvel équipement dans une usine. Enfin, l’IA générative peut aider à écrire un plan d’action cyber avec le détail des actions à mener. Pour le moment, les experts utilisent ChatGPT, mais certains prestataires commencent à mettre en œuvre des modèles locaux déconnectés d’Internet pour aller plus loin et faire travailler les IA sur des données confidentielles. »
