AIR FRANCE - STAGE DATA ENGINEER - MODERNISATION DE PIPELINE DATA SUR GCP (DATAFORM) F/H

Le projet s'inscrit dans cette démarche de transformation digitale, visant à améliorer la gestion des données opérationnelles, notamment celles liées aux temps de consommation d'APU (Auxiliary Power Unit) durant les phases précédant et suivant le vol..Le sujet de ce stage consiste en l'optimisation d'un script SQL complexe existant. Afin d'améliorer de lisibilité, de maintenance et de traçabilité, la ou le stagiaire aura pour mission de mener une refonte progressive du flux, en deux temps :Découpage et clarification du script SQL :Analyser le script SQL existant pour en comprendre la logique métier et identifier les points d'optimisation.Refactoriser le code en utilisant des CTE (Common Table Expressions) et en créant des vues intermédiaires pour améliorer la lisibilité, la modularité et la traçabilité des étapes métier.Documenter les différentes étapes du script refactorisé.Migration et industrialisation sur Dataform (GCP) :Participer à la migration du pipeline refactorisé vers Dataform sur Google Cloud Platform.Modéliser le pipeline en tables et vues Dataform, en tirant parti des capacités de l'outil.Mettre en place des tests unitaires pour garantir la qualité et la fiabilité des données.Rédiger une documentation technique et fonctionnelle complète du pipeline, facilitant sa maintenance et sa transmission.Contribuer à l'optimisation des performances du flux sur l'environnement GCP.Ce projet représente une opportunité de moderniser un flux critique, d'acquérir une expertise concrète sur les technologies Cloud (GCP, Dataform) et de contribuer à la définition d'une méthodologie réutilisable pour la gestion agile et pérenne de nos pipelines data.