Le Groupe Crédit Agricole passe l’IA générative à l’échelle

Depuis le mois de mars 2024, la banque a structuré son approche afin d’industrialiser et de déployer à l’échelle ses nombreux cas d’usage de l’IA générative. Trente-six projets dans six domaines ont été priorisés et sont pilotés par le Comex Crédit Agricole S.A.. Les premiers entrent en production.

Les cas d’usage de l’IA générative sont innombrables dans une banque universelle de l’envergure du Crédit Agricole. En particulier, l’usage de moteurs de recherche dopés à l’IA générative, s’appuyant sur le fameux RAG (Retrieval Augmentation Generation), est très apprécié des utilisateurs métiers. C’est la raison pour laquelle la banque verte a lancé un projet de plateforme capable de porter ces cas d’usage et d’exploiter différents corpus documentaires administrés par des experts métiers.

Aldrick Zappellini, group data & AI director et CDO du Groupe Crédit Agricole, résume ainsi son objectif : « Nous avons structuré cette approche pour aller directement à l’échelle sur certains cas. La plateforme a été créée pour traiter notamment les assistances aux conseillers, ainsi qu’aux fonctions de contrôle et de support au niveau des sièges des établissements du groupe. Ce sont des utilisateurs qui manipulent des informations à la fois complexes et très volumineuses. »

Pour porter les RAG du groupe, son datalab a donc développé CA-Generative Search, une plateforme pensée multicloud, pouvant être déployée sur des infrastructures on-premise si nécessaire, multi-LLM et capable d’accueillir de nombreux cas d’usage, avec chacun leur propre corpus de données. « Pour construire CA-Generative Search et, plus globalement, pour élaborer nos solutions d’IA au sein du DataLab Groupe, nous nous appuyons sur une méthode projet collaborative dans toutes ses étapes. Elle a été certifiée IA industrielle de confiance et labélisée RSE », explique Samuel Laloum, AI & data project manager, chef de projet au sein du DataLab Groupe.

Cette méthodologie comporte plusieurs grandes étapes. Dans un premier temps, l’équipe projet s’assure de la qualité des données sur lesquelles elle va travailler. Une base de connaissances est co-construite avec les métiers. « L’idée est de les mettre autour de la table afin de définir la cible et le niveau de performance attendu, et de faire en sorte que la restitution de l’IA soit la plus fidèle possible aux attentes en minimisant les ambiguïtés. »

Pour sa stratégie IA, le Crédit Agricole cherche à maîtriser le risque de dépendance technologique. Le sourcing de solutions et de prestataires est diversifié, ce qui se reflète dans la conception de la plateforme CA-Generative Search, multicloud et multi-LLM par design.

Les data scientists travaillent ensuite sur la construction ou l’optimisation de l’exploitation du modèle. Pour les IA génératives, ils s’intéressent aux prompts qui vont être mis en place et réalisent au besoin le fine tuning du modèle pour minimiser le phénomène d’hallucination et bien répondre aux attentes métiers. « Cette approche a été certifiée par le laboratoire de métrologie et d’essai (LNE) en avril 2023. L’un de nos atouts lors de cette validation était déjà de prendre en considération les besoins d’explicabilité et d’interprétabilité des résultats. »
La démarche intègre aussi une analyse de l’impact environnemental de l’ensemble des IA du DataLab Groupe. « La frugalisation a été l’un des atouts constatés par les auditeurs, ce qui nous a permis de décrocher cette labélisation RSE », ajoute Samuel Laloum.

Une fois le moteur en place, la solution a été packagée et industrialisée afin d’être déployée dans une landing zone cloud fournie par CA-GIP, l’entité mettant à disposition du groupe des infrastructures et plateformes techniques. Elle pourrait aussi être déployée on-premise. Aymen Shabou, CTO et head of artificial intelligence, livre quelques détails sur cette plateforme : « C’est une solution maison, maîtrisée de bout en bout afin de pouvoir personnaliser les pipelines au regard des différents cas d’usage. Nous pouvons intégrer les différents corpus correspondant à chacun d’entre eux. Elle est multi-LLM, agnostique vis-à-vis du modèle de langage et multi-source. »
Le choix du LLM est réalisé en fonction de chaque cas d’usage. Cette plateforme peut aussi se connecter à différentes sources de données, notamment des espaces SharePoint, et interagir avec ces corpus. « Pour avoir une plateforme générique, nous avons choisi un stack technologique qui nous permet de déployer dans différents environnements cloud, ou on-premise pour les cas où les données sont hautement confidentielles (classées C4). Nous nous appuyons sur des technologies standards, plus quelques spécificités liées au fournisseur cloud afin d’interagir avec les LLM qu’il propose. »

La plateforme est exposée via des API ; elle pourra être consommée par les applicatifs du groupe, mais aussi via une interface graphique, avec notamment des propositions de réponses aux questions les plus fréquemment posées pour chaque cas d’usage. Enfin, pour des métiers réglementés, la plateforme offre une traçabilité sur toutes les recherches.

Pour Aymen Shabou, le passage en production de la plateforme a placé l’équipe projet face à différents défis, à commencer par celui du passage à l’échelle. « Certains fournisseurs fixent des quotas d’usage des LLM et nous l’avons constaté dès les tests de charge. »

Des optimisations ont été mises en place afin de contourner cet écueil. Pour les LLM facturés en « pay as you go », des stratégies de recours à plusieurs comptes par cas d’usage ou de routage des appels entre plusieurs régions cloud sont utilisables. Il est aussi possible de mettre en place plusieurs modèles : l’utilisateur peut alors opter pour un LLM en complément si le principal est saturé.
L’autre modèle d’optimisation porte sur la réservation d’instances. « Les fournisseurs cloud permettent de provisionner des débits comme on peut le faire sur AWS Bedrock. Il est aussi possible de réserver des ressources de calcul, comme AWS Sagemaker par exemple, mais il faut avoir les équipes internes capables de contrôler ces solutions. Mais c’est avantageux sur des volumes importants et pour maîtriser ses coûts tout en garantissant la scalabilité. »

Le deuxième défi d’un tel déploiement porte sur la sécurité, tant pour réduire les risques d’hallucination que ceux d’attaques cyber. Différentes solutions open source ou propriétaires ont été testées. Une approche « red teaming » en continu a été mise en place afin de détecter des risques d’hallucination, de prompt injection, d’attaque sur la sortie du LLM, de fuite de données et d’attaque par déni de service. La red team intervient ensuite dans l’atténuation des risques par un changement de LLM, une optimisation du prompt ou l’ajustement du pipeline du RAG. Des guardrails peuvent aussi être placées en fin de processus pour réduire au mieux les risques liés au système. Enfin, tous ces tests sont consolidés et inscrits dans une démarche d’amélioration continue et de tests de non-régression.

Le projet en chiffres

36 cas d’usage priorisés par le groupe Casa et sponsorisés en Comex

10 cas d’usage couverts par CA Generative Search (dont 6 sponsorisés en Comex)

L’entreprise Crédit Agricole

Activité : Banque
Effectif : 154 000 collaborateurs
Revenus (PNB 2023) : 36,5 Md€

Abonnez-vous à la newsletter hebdo d'IT for Business !

Rejoignez notre liste de diffusion pour recevoir toutes les semaines une sélection d'articles et quelques autres surprises préparées spécialement pour vous par notre rédaction.

ABONNEZ-VOUS !

Nous vous envoyons un e-mail de validation !