Les principaux risques de l’IA générative et comment y faire face

Source d’opportunités pour l’entreprise, l’IA générative introduit aussi un grand nombre de risques réputationnels, opérationnels, sécuritaires, juridiques ou environnementaux. Comment les identifier et quels garde-fous mettre en œuvre pour les encadrer ?

Face à la folie qui secoue la planète depuis le lancement, fin 2022, de ChatGPT, les entreprises sont passées en mode « test and learn » : elles ne pouvaient se permettre de manquer des opportunités offertes par l’IA générative. « Quel que soit leur positionnement, toutes les organisations sont unanimes pour dire que le plus gros risque est de passer à côté ou d’être en retard sur la transformation induite par les IA génératives », avance le Cigref dans une note publiée en juillet par une task force conduite par Baladji Soussilane, vice-président digital & IT du groupe Air Liquide.

L’association des DSI de grandes entreprises françaises conseille à ses membres de gérer les risques liés au développement de l’IA en entreprise en parallèle et non en préalable à la réflexion sur les opportunités. « La courbe d’apprentissage est longue, rappelle de son côté Jenish Parekh, principal transformation IA pour Devoteam. Il est préférable pour une entreprise de commettre les erreurs maintenant, dans des environnements contrôlés, plutôt que de se réveiller dans deux ans et de mettre les bouchées doubles dans la précipitation. »

Quels sont ces risques ? Ils ne sont pas nécessairement nouveaux. Pour Martin Alteirac, responsable IA chez Saegus, « l’IA générative reprend l’ensemble des risques liés à l’IA “traditionnelle”, mais de façon amplifiée », du fait de la puissance et de la complexité des grands modèles de langage (LLM). Se pose tout d’abord la question du risque réputationnel. « La vigilance est particulièrement de mise avec les IA qui interagissent avec le public, avec le risque qu’il introduise des biais discriminants. »

Heetch en a fait la démonstration dans une campagne marketing sur les réseaux sociaux. Afin de démontrer que l’IA générative reproduisait et accroissait les stéréotypes, le spécialiste des VTC a demandé à Midjourney de créer un visuel d’un mariage en France, puis a complété son prompt par un mariage en France… en banlieue. Autant dire que le second visuel n’avait plus grand-chose à voir avec le premier.

Au-delà des données d’entraînement potentiellement biaisées, le modèle peut subir des attaques de type « prompt injection » qui consiste à pousser le modèle dans ses retranchements afin qu’il adopte des comportements répréhensibles ou tienne des propos violents. Une IA affectée au service client se mettra, par exemple, à insulter les consommateurs.

Un déficit d’explicabilité

Les LLM posent par ailleurs un problème d’explicabilité. « Pourquoi le modèle génère ce mot-là plutôt qu’un autre ?, interroge Frédéric Porta, directeur digital & solutions chez TNP. Impossible de le savoir, il y a trop de corrélations possibles. Cette approche probabiliste peut désarçonner les équipes de la DSI habituées à développer une vision déterministe. »

Guillaume Gérard, qui pilote l’activité IA générative au sein de l’entité Insights & Data chez Capgemini en France, pointe quant à lui le fameux effet boîte noire inhérent aux modèles de deep learning : « Le prompt en entrée et les résultats en sortie sont connus, mais pas ce qui passe au milieu. » Ce manque de robustesse et d’explicabilité ne va pas sans poser des risques opérationnels. « Des systèmes d’IA critiques existent déjà en entreprise pour, par exemple, optimiser la gestion des stocks, rappelle Martin Alteirac. Ils sont toutefois embarqués dans des applications et adressent des usages ciblés. Interfaçable avec des humains via un chatbot, l’IA générative est, elle, mise à disposition d’un grand nombre de clients et d’employés. » Ce qui augmente, à ses yeux, la surface de risques. « La puissance des LLM ouvre grand le champ des possibles. Il est impossible d’anticiper tous les cas d’usage ni toutes les façons dont les utilisateurs vont s’en emparer. »

Des garde-fous techniques peuvent être mis en place. Une organisation peut ainsi développer une IA générative spécifique à un métier donné, en l’entraînant sur des corpus spécialisés. Cette technique dite de génération augmentée de récupération (RAG pour Retrieval Augmented Generation) optimise la pertinence de la génération de texte en s’appuyant sur des sources de données privées ou propriétaires. « En imposant ses sources à l’IA, elle sera capable de s’y référer et de mentionner l’origine des contenus utilisés, explique Pascal Corrotti, directeur général adjoint de Digitalent. Pour protéger un modèle des biais ou des hallucinations, il est, par ailleurs, possible de le contraindre à suivre des règles métiers. S’il va à leur encontre, le système génère une alerte. Il bascule alors en mode manuel et un sachant qualifie le résultat. »

Une shadow AI à juguler

Les entreprises doivent aussi lutter contre la shadow AI, soit l’utilisation d’outils en accès libre de type ChatGPT (OpenAI), Bard (Google) ou Claude (Anthropic) passant sous le radar de la DSI. Auto-apprenants, ces modèles se nourrissent des interactions avec les utilisateurs. Avec le risque pour ces derniers de révéler des informations sensibles. Des ingénieurs de Samsung Semiconductor ont ainsi divulgué du code source en demandant à ChatGPT de le corriger, ainsi que le contenu d’une réunion et l’identité des participants en sollicitant le même outil pour en faire le procès-verbal.

Au-delà du simple blocage de l’accès à ces outils grand public, l’entreprise aura tout intérêt, pour ne pas brider l’innovation, à déployer des instances privatives hébergées dans une infrastructure on-premise ou des solutions managées dans les clouds d’AWS ou de Google Cloud. La Poste a ainsi retenu une version de ChatGPT encapsulée dans l’environnement Azure. « Cela permet aux postiers de prendre en main l’outil sans craindre de provoquer une fuite de documents sensibles », avance Pierre-Etienne Bardin, son chief data officer. 300 bêta-testeurs évaluent actuellement Copilot de Microsoft pour des usages bureautiques. Pour les IA génératives connectées à ses bases de connaissances, La Poste fait le choix « souverain » de les héberger sur ses propres datacenters, ou dans le cloud de confiance NumSpot dont Docaposte est l’un des membres fondateurs.

Souveraineté et valeurs européennes

Cet enjeu de souveraineté ne se limite pas à se prémunir du principe d’extraterritorialité propre au droit américain et à de possibles activités d’intelligence économique. Non seulement les start-up françaises Mistral AI, LightOn, Hugging Face proposent des alternatives aux éditeurs américains, mais leurs LLM sont en open source. Ce qui permet aux entreprises de les adapter à leurs besoins et, en décortiquant le code, de mieux comprendre leur mode de raisonnement.

Certains biais peuvent être plus insidieux. Un modèle d’IA véhiculera les valeurs prônées par son éditeur, en l’occurrence celles d’une société américaine dans le cas d’OpenAI, ce dernier entraînant ChatGPT essentiellement sur le web anglo-saxon à grands renforts de fiches Wikipedia et de forums Reddit. Il peut aussi surpondérer ou sous-pondérer certaines valeurs. ChatGPT favorise, par exemple, Joe Biden par rapport à Donald Trump dans ses résultats. Dénonçant cette vision « woke » de la société, Elon Musk a ainsi lancé sa propre IA, Grok.

« En moyenne, moins de 0,2 % des données d’entraînement des modèles d’intelligence artificielle sont françaises », indique le ministère de la Transformation et de la Fonction publiques. Ce qui conduit la Direction interministérielle du numérique (Dinum) à développer Albert, un outil d’IA générative « souverain, libre et ouvert, créé par et pour des agents publics » et à constituer un hub de données francophones.

Développer l’esprit critique

L’acculturation des collaborateurs est tout aussi essentielle que le choix de l’outil. « L’un des risques unanimement identifié par les membres du Cigref, c’est l’anthropomorphisation de l’IA générative, avance Henri d’Agrain, délégué général du Cigref. En échangeant en langage naturel avec l’outil, l’utilisateur en oublie qu’il s’agit d’une machine, donc dénuée de conscience, qui ne fait qu’enchaîner les calculs scientifiques. En se leurrant sur la relation qu’il a établie avec la machine, il peut prendre pour argent comptant les résultats produits. »

À ses yeux, « il ne suffit pas de mettre ce type d’outil à disposition des collaborateurs, il faut assurer une sensibilisation pour développer chez eux un esprit critique. » Frédéric Porta va plus loin en conseillant de réserver ces outils à un population avertie ou experte. « Il faut à la fois une prise de recul et un cheminement intellectuel pour vérifier l’exactitude de la réponse. S’il s’agit d’utilisateurs néophytes, il faut mettre en place des moyens de contrôle. »

Cofondateur de Talan, Philippe Cassoulat propose d’apprendre dès le plus jeune âge à contrôler et challenger les IA. « Si un élève utilise l’IA pour résumer un livre plutôt que de le lire, il perdra en capacité d’analyse. Une IA permet de surmonter la peur de la page blanche mais, derrière, il faut pouvoir contrôler le résultat et s’alerter sur ce qui semble atypique, comme des erreurs dans le code généré. »

Pour sa part, Jenish Parekh propose de développer cette vigilance à travers des jeux et des formations interactives. Les utilisateurs apprendront à « prompter » et à challenger les résultats de la machine. Par ailleurs, « un portail permet aux collaborateurs en manque d’imagination de s’inspirer des meilleurs prompts ».

Pour autant il faut, selon Philippe Cassoulat, laisser les collaborateurs s’approprier l’outil. Si Talan a doté ses développeurs d’outils de génération de code, l’ESN n’a fait que dresser le cadre des cas d’usage et des bonnes pratiques. « Certains développeurs reprennent le code généré et l’adaptent. D’autres l’utilisent uniquement pour le front-end, se réservant la partie back-end. Les informaticiens animés par la beauté du code se serviront, eux, de l’IA pour le documenter, une tâche ingrate à leurs yeux. Chacun y trouve son compte. »

Quid de la propriété intellectuelle ?

L’utilisation des IA soulève aussi un certain nombre de questions juridiques et notamment de propriété intellectuelle. « Auto-apprenants, les LLM se nourrissent des interactions avec les utilisateurs, ce qui peut générer des violations de copyright, rappelle Henri d’Agrain. Par exemple, les publications du Cigref sont mises gratuitement à la disposition du plus grand nombre, mais restent protégées par les lois en vigueur sur la propriété intellectuelle. Si ChatGPT reprend tout ou partie de ces contenus, il devrait citer le Cigref. »

Comment dès lors s’assurer que le contenu créé soit réellement inédit et que les images générées ne soient pas soumises à des droits d’auteur ? « Pour la génération d’images, La Poste a retenu une solution du marché qui respecte la propriété intellectuelle des auteurs », indique Pierre-Etienne Bardin. Alors que Midjourney est soupçonné d’être entraîné sur des images non libres de droits, Adobe Firefly en a fait un atout concurrentiel garantissant que le contenu généré sera protégé par le droit à la propriété intellectuelle. Grâce à son Copyright Shield, OpenAI propose pour sa part de couvrir les frais juridiques de ses clients en cas de poursuites pour violation du droit d’auteur sur les contenus générés par ChatGPT Enterprise. Microsoft et Google proposent des offres de compensation équivalentes.

En attendant l’entrée en vigueur de l’AI Act

Les organisations doivent également anticiper les exigences de l’AI Act (lire encadré p.61). Si le futur règlement européen n’entrera en vigueur que début 2026, « les entreprises ont bien en tête qu’elles doivent se mettre dès que possible à travailler leur mise en conformité, si ce n’est pas déjà le cas », observe Henri d’Agrain. Le Cigref publiera au second semestre 2024 un guide d’implémentation de l’AI Act en entreprise, comme il l’avait fait pour le RGPD. Hub France IA en fera de même (lire encadré p.59).

Pour Pascal Corrotti, le RGPD peut justement préparer le terrain : « Une organisation peut s’inspirer d’un certain nombre de principes du RGPD comme l’approche “by design” pour réfléchir aux enjeux sécuritaires ou éthiques d’une IA dès sa conception, ou encore l’approche “by default” pour anonymiser ou pseudonymiser les données d’entraînement quand cela est possible. » En charge de la bonne application du RGPD, le DPO devrait, lui, voir son périmètre étendu aux systèmes IA qui nécessiteront des processus de validation et de classification des risques.

En attendant l’AI Act, des organisations se sont aussi dotées d’une charte. Édictée en avril 2022, la charte pour une utilisation éthique de l’IA de Pôle emploi repose sur sept principes dont la finalité est la légitimité des algorithmes, l’équité et la non-discrimination, la transparence, la sécurité ou encore l’impact environnemental. La charte éthique du Club Med reprend sensiblement les mêmes règles. Elle est coiffée d’un comité rassemblant des représentants de l’IT, de la data, du juridique, des RH, et de personnalités extérieures comme l’informaticien et philosophe Jean-Gabriel Ganascia.

Le Cigref note que quelques entreprises, particulièrement matures, ont mis en place « un comité transverse et pluridisciplinaire appelé “AI Tower”, ou encore “Generative AI committee”, pour suivre et valider les différents cas d’usage des IA génératives en entreprise, comme cela a été fait pour la data, et maintenir à jour les recommandations et règles de conduite ».

Enjeux environnementaux et sociaux

L’impact environnemental doit figurer parmi les critères retenus par ces comités pour arbitrer parmi les cas d’usage éligibles. « L’entraînement puis la mise en production d’un LLM nécessitent beaucoup de puissance de calcul et donc d’électricité, rappelle Guillaume Gérard. Si toutes les organisations utilisent ce type d’IA à l’échelle, la dette carbone va exploser. »

Pour le consultant, le type de modèle utilisé doit être proportionné à sa finalité. « Est-il nécessaire de faire appel à un grand modèle pour faire du résumé documentaire ? Il serait plus coûteux et énergivore qu’un petit modèle qui offrira en plus un temps d’inférence réduit. »

« Le DSI se trouve placé face à une injonction contradictoire, abonde Frédéric Porta. On lui demande d’aller à fond dans l’IA et dans le même temps de décarboner son IT. » Selon lui, le choix d’un modèle repose sur une matrice comprenant, outre l’axe des performances techniques, les dimensions éthique, économique, environnementale et sociale.

Sur ce dernier point, la DRH doit, estime-t-il, être associée le plus amont possible des déploiements pour évaluer les conséquences sociales de l’arrivée de l’IA et anticiper les actions de formation et de reconversion. Il s’agit également d’envisager les compétences nécessaires pour développer et maîtriser l’IA générative de façon fiable tout en répondant aux inquiétudes légitimes des salariés qui se sentiraient menacés dans leur emploi.

---

Le Hub France IA promeut une IA responsable, éthique et souveraine

Créée en 2017, Hub France IA est une association à but non lucratif qui promeut une IA responsable, éthique et souveraine. Elle fédère un écosystème de 130 membres dont une centaine de start-up, des grands groupes comme BNP Paribas, La Poste, L’Oréal ou Société Générale, des institutionnels et des grandes écoles.

Assurant une veille technologique et réglementaire, Hub France IA a présenté en février son « position paper » sur l’AI Act et prévoit de publier, en 2024, un guide de bonnes pratiques pour accompagner les entreprises sur la voie de la mise en conformité avec le futur règlement européen. L’association travaille aussi, depuis un an et demi, avec la commission de normalisation IA de l’Afnor, et sensibilise d’ores et déjà les entreprises à ce futur cadre normatif.

Les membres de Hub France IA contribuent aux groupes de travail dédiés à l’AI Act, l’éthique, la cybersécurité ou l’impact environnemental de l’IA. L’association a diffusé au mois de mai une note de synthèse sur les usages et les impacts de ChatGPT et prévoit de publier, l’an prochain, un guide sur le développement d’une IA frugale. Tous ces livrables sont en libre accès sur son site.

---

La Poste : une charte et un comité pour une IA de confiance

Agissant comme tiers de confiance dans les services numériques qu’elle propose à ses clients, La Poste se devait d’être pionnière dans le domaine de l’IA responsable et éthique. En 2020, le groupe s’est doté d’une charte IA, venant compléter la charte Data élaborée quatre ans plus tôt, les deux documents devant fusionner dans les prochains mois.

« L’élaboration de la charte a fait l’objet d’un travail d’harmonisation, validé par l’ensemble des métiers du groupe : la banque, l’assurance ou la logistique », se souvient Pierre-Etienne Bardin, chief data officer. Pas gravée dans le marbre, elle est appelée à évoluer pour tenir compte des remontées terrain et des exigences de l’AI Act, le futur règlement européen.

La charte IA s’applique aux data scientists et à l’IT pour une approche d’IA de confiance « by design », mais aussi aux équipes de la conformité, aux DPO et à la direction achats appelée à négocier des solutions intégrant de l’IA. Elle est aussi systématiquement présentée aux recrues. En tout, plus de 60 000 postiers ont été formés.

En 2022, un comité pour une IA de confiance a été créé. En charge de la bonne application de la charte et de ses évolutions, il se réunit tous les six mois. « Des personnalités extérieures au groupe nous challengent sur des dimensions scientifique, éthique ou juridique », complète Pierre-Etienne Bardin.

Tous les mois, un comité opérationnel passe, lui, au crible les nouveaux modèles d’IA proposés. « À partir d’une matrice, nous jugeons si le projet est autorisé, autorisé sous conditions ou proscrit. Une attention toute particulière est portée pour les systèmes d’IA générative. » 

---

AI Act, un accord politique déjà contesté

Le 8 décembre dernier, l’Union européenne s’est dotée du premier cadre de régulation de l’IA au monde. À peine entériné, l’accord sur l’AI Act était déjà contesté. Emmanuel Macron le juge trop strict sur les modèles dits « fondationnels », de type ChatGPT. Le président de la République craint que le futur règlement européen bride l’innovation et handicape les fleurons français de l’IA, telle la licorne Mistral AI.

Prévu pour entrer en vigueur début 2026, l’AI Act repose sur une approche par les risques. Le « risque minimal » exonère les IA de type système de recommandation ou filtre anti-spam de toute obligation. Les modèles d’IA présentant un « risque élevé » – matching dans le recrutement, scoring bancaire – seront soumis à des obligations de contrôle, de documentation ou d’information aux utilisateurs.

Quant aux IA présentant un « risque inacceptable » pour les droits fondamentaux, elles seront bannies. La Commission européenne cite un système de notation sociale, comme celui instauré en Chine, ou des applications de police prédictive. Interdits sur le principe, les dispositifs de reconnaissance faciale dédiés au maintien de l’ordre font l’objet d’exceptions (menace terroriste, traite humaine…).

Pour les modèles fondationnels, le futur règlement prévoit « des obligations contraignantes supplémentaires liées à la gestion des risques, à la surveillance des incidents graves, à l’évaluation des modèles, ainsi que des tests contradictoires ». Le barème de sanctions s’élève jusqu’à 35 M€ ou 7 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu. Un « AI Pact » est proposé par la Commission aux entreprises volontaires qui souhaitent anticiper les enjeux de mise en conformité.

---

Cybersécurité : l’IA générative expose à de nouvelles menaces

La « prompt injection » est un ensemble de techniques visant, par le biais de prompts, à contraindre une IA à générer du contenu indésirable, trompeur ou nuisible, ou à tenir des propos violents et haineux. Pour faire sortir l’IA de son cadre de modération, les attaquants vont tenter de briser son processus dit « d’alignement » qui vise à imposer des limites au modèle afin qu’il n’agisse pas de manière répréhensible ou inappropriée.

Des chercheurs de DeepMind, filiale de Google, ont ainsi réussi à « jailbreaker » ChatGPT en lui faisant répéter un mot spécifique à l’infini. Au bout d’un certain temps, l’IA a déraillé, livrant des passages entiers de textes servant à son entraînement ainsi que des données personnelles. Il est aussi possible de faire dévier une IA en lui donnant une suite d’ordres contradictoires, en lui demandant de revenir en arrière, d’ignorer une instruction précédente, avant de lui demander de faire l’inverse.

Les attaques qualifiées d’indirectes visent à glisser la requête malveillante dans les sites ou les contenus analysés par les robots de l’IA générative. Dans les deux cas, elles peuvent aboutir à un vol de données sensibles, à une manipulation de l’information ou à une injection de code malicieux.

---

Des coûts sous contrôle, pour le moment

L’essor exponentiel des IA génératives s’accompagnera-t-il d’une explosion de coûts non maîtrisés ? Martin Alteirac ne le pense pas. Il rappelle que les coûts d’entraînement ont déjà été supportés par les éditeurs et que le mode de tarification retenu, basé sur le paiement à l’usage, rend les coûts à la charge de l’utilisateur relativement prévisibles. Ils reposent généralement sur le nombre de requêtes. « Ce coût à l’inférence est connu et sera proportionnel, par exemple, au nombre de fois que le chatbot d’un support client sera sollicité. » Avec son approche « ROIste », la proposition de valeur de l’IA générative est aussi, selon lui, plus facile à établir. « Si un chatbot d’ancienne génération traitait 20 % des demandes clients et qu’il est remplacé par une IA générative qui en gère deux à trois fois plus, le calcul est vite fait. »

---