Data Engineer Senior, Lakehouse / Spark / DBT - Freelance

Paris (Île-de-France)
3 jours de télétravail par semaine, 2 jours sur site
Démarrage dès que possible, mission de 12 mois renouvelable
⏱️ Temps plein, 5 jours par semaine

Contexte de la mission

Vous rejoignez le pôle Data Services d'une plateforme digitale grand public française à très fort volume de trafic. L'équipe est en pleine structuration de sa stratégie Lakehouse et cherche un Data Engineer Senior capable d'intervenir aussi bien sur la conception d'architecture que sur l'industrialisation des pipelines.

Le poste est très orienté build et architecture, avec une vraie latitude sur les choix techniques. Vous serez également un référent pour les profils plus juniors de l'équipe.

Responsabilités

• Concevoir, développer et optimiser des pipelines de données à grande échelle

• Mettre en œuvre des flux batch, streaming et ingestion via API

• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)

• Développer et industrialiser les pipelines avec DBT, Spark et Iceberg

• Contribuer activement à l'évolution de l'architecture Lakehouse

• Déployer et maintenir les pipelines dans un environnement cloud AWS

• Orchestrer les workflows ETL / ELT via Airflow

• Mettre en œuvre l'Infrastructure as Code avec Terraform

• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)

• Garantir la disponibilité, la supervision et l'observabilité des traitements

• Participer à la gestion des incidents et à l'amélioration continue

• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)

• Documenter les architectures, pipelines et règles métier

• Garantir la conformité des flux, notamment sur le volet RGPD

• Accompagner et encadrer les profils juniors de l'équipe

Profil recherché

• Minimum 8 ans d'expérience en Data Engineering

• Maîtrise avancée des architectures Big Data et Lakehouse

• Expérience confirmée sur des volumétries importantes en production

• Capacité à prendre du recul sur les enjeux métier, pas uniquement sur la technique

• Expérience démontrée d'encadrement ou de mentoring de profils juniors

• Rigueur, autonomie et culture de l'amélioration continue

Stack technique

Indispensable

• Spark

• DBT

• Iceberg

• AWS (Glue, EMR, S3)

• Terraform

• Python

• Airflow

• Docker, Kubernetes

Apprécié

• Trino / Starburst

• Datadog

• Outils de Data Catalog

• Outils de modélisation data

Informations pratiques

• Localisation : Paris, 2 jours de présence sur site par semaine

• Durée : 12 mois, démarrage dès que possible

• Déplacements : occasionnels

• Astreintes : occasionnelles