Data Engineer Confirmé - Projet Lakehouse GCP @ Secteur Médias @ Paris
Le besoin
Contexte :
Une Direction Data en pleine expansion souhaite renforcer son équipe avec une prestation de data engineering afin de mettre en place des solutions Big Data dans un environnement Google Cloud Platform (GCP) . L’équipe est composée d’un Product Owner et de Data Engineers, travaillant sur une architecture Lakehouse .
La stack technique actuelle repose principalement sur :
Python, SQL, Spark pour les traitements batch
Apache Beam pour le streaming
Airflow pour l’orchestration
BigQuery, Dataproc, PubSub sur GCP
Terraform pour la gestion de l’infrastructure
GitLab CI/CD pour l’intégration et le déploiement
Missions attendues :
En collaboration avec les experts data, Product Owners, Data Scientists et Data Managers, la prestation consistera à :
Collecter et ingérer des sources de données hétérogènes
Développer et maintenir des pipelines de traitement de données (ETL/ELT)
Concevoir et implémenter des modèles de données
Assurer l’extraction et l’exposition des données du Lakehouse vers d’autres services
Industrialiser les projets sur GCP
Mettre en place et maintenir des infrastructures scalables adaptées à la croissance des volumes
Participer aux initiatives de gouvernance pour garantir la qualité, la fiabilité et l’intégrité des données
Contribuer aux phases de grooming, cadrage et planification des tâches
Expertises requises :
Minimum 3 ans d’expérience en environnement data
Solides compétences en structures de données, architecture et code
Expérience avec au moins un Cloud public ( GCP apprécié )
Maîtrise de SQL et Python
Expérience en Big Data (PySpark, BigQuery, Airflow appréciés)
Bonnes connaissances de GitLab et CI/CD
Capacité à vulgariser et communiquer sur des sujets techniques
Pratique des méthodes Agile (Scrum, Kanban)
Modalités :
Présence sur site requise selon les besoins, minimum 50 du temps
La mission se déroulera en français (documentation, réunions, livrables)
Emplois Recommandés
Webdesign et communication en stage H/F
MyDigitalSchool Paris, école spécialisée dans les métiers du digital, recherche un(e) stagiaire pour un poste de chargé du webdesign et communication. Vos missions Créer des publications engageant…
Ingénieur pédagogique F/H
Fonctions : Ingénieur·e pédagogique Catégorie : A Corps : IGE BAP : J Emploi-type : J2A41 - Chargé-e d'animation et d'ingénierie en formation tout au long de la vie …
Quantitative Developer - Python Core Backend
Qube Research & Technologies (QRT) is a global quantitative and systematic investment manager, operating in all liquid asset classes across the world. We are a technology and data driven group impleme…
Software Architect (Contractor) - Composable Commerce & Event-Driven Design
This position is 100% remote, with flexible daily/weekly hours (part-time). We’re looking for a Software Architect contractor with strong expertise in composable modular architecture and even…
Coordinateur.trice Atelier (H/F)
Installé au cœur de Paris, notre atelier est spécialisé dans la fabrication de pièces de Haute Joaillerie. Filiale de la Maison Van Cleef & Arpels, l’Atelier Joaillerie Parisienne est un atelier à …
CHEF D'EQUIPE (H/F)
Assurer la coordination et la supervision des travaux de gros oeuvres; Planification des tâches; Gestion du matériel; Assurance de la qualité et de la sécurité; Suivi des avancements En tant que Ch…
Retail Architecture Project Manager
Van Cleef & Arpels is seeking a Retail Architecture Project Manager in Paris to oversee boutique projects in Europe and the Middle East. This role requires expertise in managing luxury retail architec…
Apprenti RH chargé de formation en ALTERNANCE (H/F)
MBway Paris Sud l'école de management , vous propose une offre d'alternance dans le cadre d'un MBA Management Ressources Humaines chez une de nos entreprises partenaires. Missions Rattaché(…
INFIRMIER (H/F) SAU COCHIN POLE 5/6/7
VOUS SOUHAITEZ REJOINDRE UN ACTEUR HOSPITALIER MAJEUR DANS LA PRISE EN CHARGE EN PSYCHIATRIE ET NEUROSCIENCES ? Le Groupe Hospitalier Universitaire Paris psychiatrie & neurosciences est né le 1er jan…
Data Scientist, IA Engineer
Le besoin Besoin d'un consultant expérimenté en Data Science et Intelligence Artificielle pour intervenir sur des projets stratégiques. Compétences attendues : modélisation, machine learning, dépl…