Data Engineer GCP - Python / Spark - Risques Climatiques & Crédit > 3a @ Paris - Freelance

Taux journalier (TJM): 430 € HT légèrement négociable selon la séniorité

Localisation : Paris
Démarrage souhaité : Dès que possible
Expérience recherchée : 3 à 6 ans

Contexte & enjeux

Au sein de l’entité Technologie & Opérations – DSI Corporate , vous intégrerez le domaine « Pertes, Garanties et Entrepôt Risques » dans le cadre du projet stratégique « Risques Climatiques & Physiques » .

L’objectif du projet est de construire et faire évoluer une solution Data permettant d’ingérer, agréger et exposer des données issues de sources multiples , afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit .

La plateforme est développée sur Google Cloud Platform (GCP) et s’inscrit dans un environnement Data à forts enjeux, forte volumétrie et forte visibilité . Vous rejoindrez une équipe expérimentée et interviendrez aussi bien sur la conception et le développement des traitements que sur leur industrialisation, leur maintien en conditions opérationnelles et l’évolution des infrastructures associées.

Une expérience préalable dans le risque de crédit ou, plus largement, dans un environnement bancaire constitue un réel atout.

Missions détaillées

En tant que Data Engineer GCP , vous prendrez notamment en charge :

• La conception et le développement de solutions Data sur Google Cloud Platform ;

• Le développement et l’intégration de traitements Python / Spark ;

• La conception, la mise en place et l’évolution des pipelines d’ingestion et de traitement de données ;

• L’ ingestion, l’agrégation et l’exposition de données provenant de sources multiples ;

• Le développement et l’optimisation de traitements à forte volumétrie ;

• La collecte, le stockage et l’exploitation des différents flux de données ;

• La supervision et l’intégration de données de différentes natures ;

• Le contrôle et l’amélioration de la qualité et de la sécurité des données ;

• La structuration des bases de données ;

• La gestion des métadonnées et référentiels ;

• La documentation et la cartographie des différentes sources de données ;

• La contribution à l’industrialisation des traitements et des modèles ;

• L’ industrialisation des modèles de Machine Learning ainsi que leur maintien en RUN ;

• La maintenance et le suivi du RUN des applications développées ;

• La maintenance des infrastructures Data associées ;

• La proposition et la mise en œuvre d’évolutions des infrastructures et solutions Data existantes .

Stack technique

Développement & Data

• Python : excellente maîtrise indispensable

• Spark : excellente maîtrise indispensable

• Développement et intégration de solutions Data sur Google Cloud Platform

• Pipelines d’ingestion et de traitement de données

• Traitements Data à forte volumétrie

• Industrialisation de traitements et modèles ML

Google Cloud Platform

Une excellente maîtrise opérationnelle de GCP est attendue, notamment sur :

• BigQuery

• Dataproc

• Cloud Composer

• Cloud Functions

• Cloud Run Jobs

• Google Cloud Storage (GCS)

DevOps

Une bonne maîtrise de la chaîne DevOps est attendue, en particulier :

• Terraform

• Jenkins

• XL Deploy (XLD)

Les expertises techniques sur Python, Spark, GCP et les différents services GCP cités sont considérées comme impératives compte tenu du caractère stratégique et de la visibilité du projet.