Data / IA
Mithril Security veut rendre les IA confidentielles et intègres
Par Alain Clapaud, publié le 22 avril 2024
Les IA posent des problèmes nouveaux en termes de confidentialité des données, mais aussi de protection de leur intégrité. Mithril Security travaille sur des approches utilisant des enclaves sécurisées pour les protéger de toute manipulation extérieure.
Êtes-vous sûr que l’IA générative que vous utilisez n’a pas été manipulée par un tiers ou que les données que vous lui confiez ne seront pas détournées à votre insu ? Cette question n’a rien de théorique, comme l’a démontré la petite manipulation réalisée par Mithril Security. En juillet dernier, la start-up a réussi à faire dire au LLM que Youri Gagarine a été le premier homme sur la Lune en « empoisonnant » le modèle open source GPT-J-6B téléchargé sur Hugging Face, puis en le replaçant sur la plateforme sous un nom légèrement différent de l’auteur original. Le modèle « piraté » a été retiré d’Hugging Face rapidement, mais la démonstration était faite : un LLM peut être détourné.
Objectif : garantir la sécurité des IA
La jeune entreprise, qui explore différentes pistes pour sécuriser les IA, développe alors une solution pour pallier ce risque. Son outil AICert vise à délivrer une preuve cryptographique de l’origine d’un modèle d’IA et s’assurer de son intégrité. « Le marché a besoin d’un AI BoM (bill of material), une espèce de carte d’identité de l’IA, explique Raphaël Millet, cofondateur et COO de Mithril Security. Elle contiendra toutes les caractéristiques du modèle : quelles sont ses données d’entraînement, quels GPU ont été utilisés, la quantité d’électricité consommée, etc. » Ce projet a reçu le soutien du Future of Life Institute, le Think Tank américain qui avait publié début 2023 une lettre ouverte pour freiner le développement des IA génératives. Celui-ci cherche aujourd’hui des solutions pour garantir la sécurité des IA et s’est intéressé aux travaux de Mithril Security pour proposer une solution de contrôle.
Une solution en train d’être éprouvée
Cette solution open source est encore en développement, mais Mithril Security veut déjà utiliser ce type de contrôle dans des enclaves sécurisées où s’exécuteraient des inférences d’IA. Sa solution BlindAI fonctionne actuellement sur une instance sécurisée Azure DCsv3 ou sur une machine compatible Intel SGX (software guard extensions) et FLC (flexible launch control) pour un déploiement on-premise. Dans sa première version, elle présente toutefois la limite de ne pas supporter les GPU, un vrai manque pour l’exécution d’une inférence d’IA. « La solution fonctionne bien et a été auditée par Quarkslab l’année dernière. Après 40 jours de test, ces experts indépendants n’ont pas trouvé de faille de sécurité critique. Néanmoins, nous avons souhaité aller plus loin en créant un produit compatible avec les GPU. » Cette évolution, encore expérimentale, est mise en œuvre par Blindchat, le chatbot de démonstration en ligne sur le site de la start-up. « La solution fonctionne actuellement avec un nombre restreint d’utilisateurs. La déployer chez OpenAI demande encore d’énormes efforts pour gérer beaucoup de workloads. C’est notre objectif clé pour 2024. »
Deux autres projets en cours
Ces travaux ont permis à Mithril Security d’obtenir un financement auprès d’OpenAI dans le cadre de sa bourse pour la cybersécurité (Cybersecurity Grant Program). Et les projets ne manquent pas pour Raphaël Millet, Mehdi Bessaa, CTO, et Daniel Huynh, le CEO basé aux États-Unis, tous cofondateurs. Ils travaillent ainsi déjà sur BlindBox, solution de déploiement SaaS pour protéger les données des utilisateurs finaux, y compris contre les fournisseurs SaaS eux-mêmes ; et sur BastionLab, une solution d’accès sécurisé aux données à distance, que ce soit pour explorer les données ou réaliser l’entraînement d’une intelligence artificielle. Tout un programme…
LE PITCH
Raphaël Millet
Cofondateur et COO de Mithril Security
« Nous voulons créer des technologies de privacy pour l’IA, qui soient réellement déployables en production, avec de bonnes performances et faciles à utiliser. »
L’ENTREPRISE
CRÉATION : 2021
SIÈGE : Paris, San Francisco
EFFECTIF : 10 collaborateurs
FINANCEMENT : 1,2 M€ levés auprès d’Auriga Cyber Ventures, Polytechnique-Ventures
RÉFÉRENCES : Uniquement des POC à ce jour
À LIRE AUSSI :
