Data / IA
Veolia déploie une IA générative sécurisée pour tous ses collaborateurs
Par Alain Clapaud, publié le 02 juillet 2024
Veolia est un des premiers grands groupes français à avoir déployé ChatGPT massivement auprès de tous ses employés dans une version interne sécurisée. Un projet mené en quelques mois seulement pour donner accès à l’IA générative à tous, sans risquer de fuite de données et en offrant malgré tout l’ouverture à tous les LLM du marché.
Le 5 septembre 2023, Veolia lançait son ChatGPT interne à destination de ses 213 000 collaborateurs. Baptisé Secure GPT, ce chatbot livré en express visait à offrir une solution maîtrisée aux collaborateurs du groupe pour que ceux-ci n’utilisent pas des services grand public en courant le risque de divulguer des données confidentielles. Ce fut aussi un galop d’essai pour les équipes de Veolia Group IS&T qui ont pu monter en compétences sur cette technologie et se préparer à créer des applications d’IA générative pour les opérations.
Au moment de son ouverture, l’interface web proposait trois premiers services : un chat conversationnel « généraliste » comparable à ChatGPT ; un service de RAG (Retrieval automated generation) baptisé Q&A PDF qui permet une recherche sur des documents Veolia ; enfin, un service de traduction en 95 langues proposé aux collaborateurs pour que ceux-ci ne soient plus tentés de faire des couper/coller de leurs textes sur Google Traduction et autres Deepl, avec des fuites potentielles.
Une première version développée en trois mois seulement
Il n’aura fallu que trois mois pour en arriver là. Après avoir mené une réflexion sur les usages internes de l’IA générative au sein de Veolia lors du premier semestre, son déploiement a été lancé en mai. L’application a été développée en juin/juillet, puis ouverte en août auprès de 200 collaborateurs pour la phase de test. Le 5 septembre, elle était accessible auprès de tous les collaborateurs de Veolia.
Techniquement, et même si les utilisateurs peuvent échanger sur le chat Veolia avec GPT 3.5 et GPT 4 en langage naturel comme ils auraient pu le faire avec ChatGPT, toutes les requêtes sont en fait traitées par une solution open source qui assure l’orchestration de ces demandes et l’interrogation du LLM. Fouad Maach, à la tête de l’architecture et de l’industrialisation chez Veolia Group IS&T, livre quelques détails sur la plateforme technique mise en œuvre dans le cadre de ce projet : « Pour la première version de l’application, nous nous sommes appuyés sur le framework d’orchestration LangChain qui vient ajouter une couche d’abstraction entre le front, la couche d’orchestration et les LLM que l’on va consommer. Ce choix nous a permis de nous plugger par la suite à plusieurs d’entre eux et d’orchestrer tous les échanges. Ce sont quelques paramètres à modifier. »
L’objectif initial de Veolia Secure GPT était à la fois de faire gagner en maturité les 213 000 collaborateurs de Veolia vis-à-vis des IA génératives et de les faire gagner en efficacité dans leurs tâches quotidiennes..
Veolia utilise Azure OpenAI Service sur une instance privée, une architecture qui donne accès à GPT 3.5 et à GPT 4. « Enfin, pour le service Q&A PDF, nous avons choisi la base vectorielle open source Chroma DB », ajoute Fouad Maach.
Ce service de RAG Q&A PDF offre ainsi la capacité à tout collaborateur Veolia d’interroger les documents qu’il souhaite, qu’il s’agisse de documents publics ou internes et dans un contexte sécurisé. L’objectif est d’étendre les connaissances du LLM sans devoir le ré-entraîner avec ces données. « Plutôt que de faire une recherche par mots-clés, cette recherche sémantique s’appuie sur la proximité des vecteurs de la question posée et ceux des documents stockés sous forme vectorielle, explique le spécialiste. Ce calcul de proximité permet d’extraire les documents pertinents. Enfin, la partie “prompt template” vise à spécifier dans quel format la réponse va être délivrée. »
Les architectes ont choisi d’exploiter Chroma DB et LangChain sur une architecture conteneurisée et portée par Google Cloud Run. Cela permet à l’utilisateur d’interroger les LLM de son choix avec son jeu de données avant que ce dernier soit détruit en fin de session. « Ces données ne sont pas stockées et les questions et les réponses ne sont pas loggées. Nous avons souhaité garantir leur non-persistance et empêcher leur traçabilité car il peut s’agir de documents confidentiels. »
L’application en elle-même est hébergée sur Google Cloud Platform, mais sollicite des LLM exécutés sur Azure OpenAI et sur Amazon Bedrock grâce à LangChain qui porte le workflow depuis le prompt rédigé par l’utilisateur.
Fouad Maach
Responsable architecture, engineering et expertise chez Veolia Group IS&T
« Pour la première version de l’application, nous nous sommes appuyés sur le framework d’orchestration LangChain. C’est ce choix qui nous a permis de proposer plusieurs LLM aux utilisateurs par la suite. »
Une architecture qui a résisté à la montée à l’échelle
« Cette architecture permettra à tous les collaborateurs d’interroger directement des bases de données de type juridique, technique, marketing et métiers, explique Fouad Maach. Déjà, lors des tests, une dizaine de bases de connaissances avaient été chargées et une dizaine d’autres les ont rejointes dans les jours qui ont suivi. Cela représente des dizaines de milliers de documents de plusieurs centaines de pages pour certains. »
Ces premiers tests menés en mai 2023 ont montré que LangChain pouvait pleinement porter ce type de service à l’échelle. Le coût de cette infrastructure est estimé entre 1 à 2€ par mois et par utilisateur, ce qui est considéré comme très faible au regard des heures de travail gagnées par les utilisateurs, et assure un confortable ROI pour le projet.
Le service a ensuite connu une évolution majeure au mois de février 2024, avec désormais un choix de six LLM. L’architecture est aussi totalement multi-cloud puisqu’elle repose sur des services hébergés par AWS, GCP et Azure.
La génération d’images est venue s’ajouter aux capacités des IA génératives initialement mises en oeuvre par Veolia. Elle est notamment destinée au service marketing pour créer des images promotionnelles. « Pour cette direction, nous avons utilisé pour la première fois les agents LangChain. Il s’agit d’outils très simples : un premier agent génère une image à partir de la requête en langage naturel. Le second crée une variation de cette image fournie. »
Ces agents logiciels contiennent une suite d’actions qui est exécutée au moment de l’appel. Dans le cas de Veolia, ils assurent les interactions avec le modèle de génération d’image Stable Diffusion. Ces agents sont déclarés sur LangChain et, en fonction de la question posée, le framework va interpréter celle-ci et opter pour l’un ou l’autre en fonction des instructions supplémentaires fournies par l’utilisateur.
Le volet RAG évolue aussi avec la mise en oeuvre de capacités d’OCR avancées et d’une mise à jour quotidienne des données.
Enfin, Veolia Secure GPT est désormais exposé sous forme d’API via la plateforme Apigee du groupe : à terme, toutes les applications Veolia pourront solliciter les services d’IA générative délivrés par LangChain.
Le projet en Chiffres
213 000 utilisateurs potentiels
6 LLM accessibles en ligne sur la plateforme
40 % des utilisateurs informés de l’ouverture du service l’ont déjà utilisé
L’Entreprise VEOLIA
Activité : Gestion de l’eau, des déchets et de l’énergie
Effectif : 213 000 collaborateurs
CA (2022) : 42,9 Md€
À LIRE AUSSI :
À LIRE AUSSI :
