Data / IA
TotalEnergies Trading & Shipping démocratise l’accès à la donnée avec la virtualisation
Par Marie Varandat, publié le 22 février 2023
Le fournisseur d’énergies TotalEnergies Trading & Shipping a opté pour la virtualisation des données afin de faciliter l’accès à son patrimoine de données. Une solution qui présente l’avantage de ne pas remettre en cause son existant tout en ouvrant le champ des possibles pour les utilisateurs.
TotalEnergies Trading & Shipping commercialise les productions de pétrole brut ou de produits pétroliers du groupe, et assure l’approvisionnement des raffineries et des filiales partout dans le monde. « Nous faisons du trading de matières premières, explique Olivier Combe, data officer de TotalEnergies Trading & Shipping. Depuis un peu plus d’un an, nous avons entamé un changement d’orientation : d’entreprise pétrolière, nous devenons progressivement une entreprise multi-énergies avec pour objectif d’atteindre 50 % d’électricité décarbonée dans notre mix énergétique à horizon 2050. Au-delà des considérations écologiques, ce changement est énorme en termes de business et de gestion des données, car nous devons intégrer de plus en plus de sources d’informations. »
Comme n’importe quel trader, les 1 200 collaborateurs consacrent en effet beaucoup de temps à l’analyse du marché, tant du point de vue de l’évolution des prix de l’énergie que de l’estimation de la demande des consommateurs ou de la capacité de production. « Nos collaborateurs sont très éclairés sur la donnée. Ils comprennent son utilité et son importance et sont habitués à la manipuler en PowerBI, Python ou en R. Toutefois, nous n’avions pas de véritable stratégie data : chacun allait chercher ses données dans des bases hétérogènes (SQL, fichiers plats, sources documentaires, etc.) éparpillées un peu partout. L’activité ayant beaucoup grandi ces dernières années, cette absence de stratégie commençait à devenir un problème », précise Olivier Combe.
« Nos collaborateurs sont très éclairés sur la donnée. Ils comprennent son utilité et son importance »
Une absence de stratégie data devenue pesante
Afin de faciliter l’accès aux données, TotalEnergies Trading & Shipping a opté pour la virtualisation des données en s’appuyant sur les technologies de Denodo. « L’alternative data lake ne nous convenait pas, car elle impliquait une réplication des données avec toute la complexité qui va avec : développement de flux d’alimentation et de synchronisation, gestion des droits d’accès, coûts en stockage, etc., poursuit Olivier Combe. Denodo était la seule plateforme de virtualisation capable de gérer l’intégralité du cycle de vie de la donnée, de l’ingestion à l’exposition en passant par la transformation, sans oublier le catalogue ou encore la gouvernance avec des fonctionnalités pour gérer les droits d’accès, le tout intégré dans un ensemble cohérent. Nous avions déjà fort à faire avec l’intégration de cette solution à notre environnement hétérogène, pas besoin d’en rajouter en optant pour une approche best-of-breed. »
Olivier Combe
Data Officer de TotalEnergies Trading & Shipping
« Denodo, c’est un réseau de tuyauterie qui permet d’éviter de restocker de l’information déjà enregistrée ailleurs tout en facilitant l’accès et l’exposition des données. »
La virtualisation offrait également à TotalEnergies Trading & Shipping une plus grande simplicité de mise en œuvre.
Si le pétrole se négocie à l’échelle mondiale avec des informations partagées par l’ensemble des collaborateurs répartis dans les pays où TotalEnergies est présent, l’achat et la vente d’électricité ou encore de gaz s’opère principalement aux niveaux nationaux avec des acteurs locaux. Idem pour l’analyse de la consommation, spécifique à chaque pays. Dit autrement, si certains jeux de données peuvent être mutualisés, d’autres doivent être propres à chaque filiale.
Dans la mesure où elle est centralisée, la plateforme Denodo permet de gérer facilement ces vues différentes : « Une fois la plateforme déployée et paramétrée, il suffit de la brancher sur les sources spécifiques à chaque pays pour concevoir des jeux de données locaux tout en autorisant l’accès aux jeux mutualisés. »
La plateforme Denodo est au cœur de l’architecture data de TotalEnergies Trading & Shipping. Elle centralise la gestion et la création de jeux de données « virtuels » tout en gérant les accès en fonction des différents profils utilisateurs.
Trois profils d’utilisateurs
Mise en œuvre à partir d’octobre 2021, l’architecture est conçue pour répondre aux besoins de trois profils d’utilisateurs : consommateurs finaux de jeux de données, concepteurs de jeux de données et administrateurs.
Denodo ingère les données brutes qui sont ensuite exposées sous forme « d’objets métier » (ou jeux de données), directement exploités par les consommateurs finaux avec PowerBI, ou par les utilisateurs au travers de développements Python ou R. L’intégration de nouvelles sources est réservée aux administrateurs, en l’occurrence des data engineers de l’équipe d’Olivier Combe. « Nous procédons par opportunité, en fonction des besoins des projets, expliquet-il. Notre travail est grandement facilité par le niveau expert de nos utilisateurs : habitués à manipuler les données, ils savent de quoi ils ont besoin et dans quelle base on peut le trouver. Nous n’avons donc pas à passer par les phases d’audit en amont de la cartographie de notre patrimoine de données, même si c’est un sujet que nous traitons au fil de l’eau. »
Les activités de trading de TotalEnergies Trading & Shipping reposent sur l’exploitation de données hétérogènes et éparpillées auxquelles la plateforme de virtualisation de Denodo facilite l’accès.
À chaque nouvelle ingestion, Denodo va documenter automatiquement son propre catalogue en conservant la trace de toutes les transformations appliquées aux données. Il renseigne ensuite le catalogue d’entreprise sous DataGalaxy, qui devient progressivement le point d’entrée de l’architecture data. « En réalité, on peut comparer la plateforme Denodo à un réseau de tuyauterie qui permet d’éviter de restocker de l’information déjà enregistrée ailleurs. Cette approche simplifie considérablement la donne. De plus, les droits d’accès sont gérés au niveau de l’objet métier à l’aide d’une interface très graphique. On peut ainsi maîtriser qui accède à quoi beaucoup plus simplement qu’avec un environnement data centralisé traditionnel. »
L’architecture est encore en phase d’évolution, mais Olivier Combe se félicite déjà des premiers résultats obtenus. « Grâce aux connecteurs Denodo, nous sommes même capables d’exploiter les données de notre legacy, ce qui était inconcevable auparavant. De fait, les utilisateurs sont ravis car ils ne perdent plus de temps en intégration. Plus réactifs sur les analyses, ils sont aussi plus autonomes car ils peuvent agréger à la volée les jeux de données dont ils ont besoin pour être plus efficaces sur les marchés. Et à notre niveau, nous avons gagné en visibilité et en sécurité sur le patrimoine data avec un minimum de ressources : sur les cinq membres de mon équipe, un seul est dédié à l’infrastructure Denodo », conclut le data officer de TotalEnergies Trading & Shipping.
Le projet en quelques chiffres
15 sources de données intégrées à ce stade du projet
3 départements de la division Trading & Shipping déjà autonomes sur l’utilisation de la plateforme
1 seul data engineer à 100 % sur la plateforme Denodo
L’ENTREPRISE
Activité : Fournisseur d'énergies
Effectif : 100 000+ collaborateurs
CA : 205+ Milliards d'euros
À LIRE AUSSI :
