- Data
- Conférence
- 55 min
[REX] Une plateforme de données moderne avec Airflow, OpenMetadata, DBT, Google Cloud et Terraform
Date vendredi
Horaire 9h30 à 10h25
Salle Amphi A
Description
Un SI moderne est souvent composé de nombreuses applications hétérogènes, portant chacune ses propres données. Comment dans ce cas vérifier la cohérence des données de ces différents référentiels, et centraliser une donnée fiable, notamment dans un but de reporting aux équipes métier ? Comment mettre en place une gouvernance des données, des tests de qualité sur ces données dans un contexte réparti ? Ce sont les questions que nous nous sommes posées, et auxquelles nous avons répondu par la création d'une plateforme de données utilisant la philosophie ELT (Extract, Load, Transform) basée sur l'orchestrateur Airflow, sur la brique de gouvernance OpenMetadata et sur DBT pour la gestion des transformations "as code", le tout déployé par Terraform sur Google Cloud. Lors de ce talk, nous partagerons notre retour d'expérience sur la création de cette plateforme : - Réflexions initiales et choix des briques technologiques - Prototypages de la solution et apprentissages - Industrialisation - État actuel de la plateforme et réflexions futures Nous zoomerons notamment sur les différentes briques techniques utilisées, sur notre compréhension de leur fonctionnement et sur nos retours d'utilisation. Nous expliquerons également comment nous avons cherché à rapprocher les pratiques Data, Dev, Ops et sécurité pour réduire le "time to insight" (le temps entre la génération d'une donnée et la mise à disposition d'analyses basées sur cette donnée) et augmenter le "data trust" (la confiance dans les données utilisées pour le reporting) tout en assurant la robustesse de la plateforme.
Orateur·ices
Sylvain Révéreault
Après une quinzaine d'années en tant que consultant sur les thématiques d'infrastructure, de DevOps, d'innovation organisationnelle et de numérique responsable, j'ai rejoint en 2023 SeeYouSun (producteur d'énergie photovoltaïque et aménageur) en tant que directeur informatique, pour contribuer activement à la transition environnementale.
Louis Claudien
Ingénieur en Économie, Master en Finance Quantitative et Assurance. Data Scientist chez SeeYouSun depuis 3 ans.