Consultant Data Engineer

Contexte

Dans le cadre du développement de ses activités Data & IA appliquées aux Achats, notre client recherche un Data Engineer confirmé pour rejoindre son équipe Data & AI Procurement .

Cette équipe a pour mission d’ ingérer, centraliser et transformer les données provenant de différents systèmes , afin d'alimenter plusieurs usages : Self-Service BI, dashboards Tableau, reporting et applications Data.

L’environnement Data Foundation s’appuie notamment sur DataHub, Snowflake, dbt et Airflow .

Vos missions

Vous interviendrez principalement sur la création de nouveaux pipelines de données ainsi que sur la maintenance et l’évolution des pipelines existants .

Vous prendrez en charge les flux de bout en bout , depuis la récupération des données sources jusqu’à leur mise à disposition pour les usages métiers.

Concrètement, vos principales responsabilités seront :

• Développer et maintenir des pipelines Data ;

• Récupérer et intégrer des données issues de sources multiples ;

• Alimenter et exploiter le Data Warehouse Snowflake ;

• Réaliser la modélisation, les transformations et les tests avec dbt ;

• Orchestrer les pipelines avec Airflow ;

• Garantir la qualité, la fiabilité et la maintenabilité des données ;

• Collaborer avec les Business Data Analysts pour comprendre et cadrer les besoins ;

• Travailler avec les autres Data Engineers sur les bonnes pratiques de développement ;

• Utiliser GitLab et participer aux pratiques CI/CD ;

• Produire une documentation technique en anglais .

Stack technique

Indispensable : SQL avancé, Python avancé et dbt. Une expérience sur Airflow , l'ingestion multi-sources, la création/maintenance de pipelines et GitLab est également attendue. Snowflake fait partie de l'environnement cible.

Une attention particulière sera portée aux bonnes pratiques : Clean Code, tests, documentation et CI/CD .

Profil recherché

Vous disposez d’au moins 5 ans d’expérience en Data Engineering et êtes capable de travailler en autonomie sur l’ensemble du cycle de vie de la donnée.

Vous êtes notamment capable de prendre en charge un pipeline complet : ingestion → stockage → transformation → modélisation → tests → mise à disposition des données .

Un anglais professionnel est nécessaire, notamment pour travailler dans un environnement international et rédiger la documentation technique.

Client : Groupe international
Localisation : IDF
Télétravail : organisation hybride avec 2 jours sur site par semaine
Démarrage : dès que possible
Expérience : minimum 5 ans
Anglais : professionnel