Data Engineer - AWS / Databricks - Freelance
Contexte
Dans le cadre du programme de transformation, une grande entreprise du secteur de l’énergie met en œuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable. La plateforme vise à :
Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)
Accélérer les usages métiers (reporting, analytics…)
Garantir la gouvernance et la qualité des données à l’échelle du groupe
La mission s’inscrit au sein de l’équipe Data Platform, avec un fort enjeu de :
Mise à l’échelle des pipelines
Industrialisation des pratiques Data Engineering
Intégration des usages IA
Missions
Développer un outil dans Databricks permettant de filtrer les clients selon des critères définis par le client
Livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour
Développer un ETL en utilisant les services AWS les plus adaptés, notamment :
AWS Step Functions pour l'orchestration / moteur de workflow
AWS Lambda pour des traitements légers
AWS Aurora ou RDS comme base de données relationnelle transactionnelle
Eventuellement Databricks pour des charges de traitements / transformations lourdes
Récupérer les données entrantes via des API ou des fichiers plats
Envoyer les données sélectionnées et transformées dans une vingtaine d'API
Outils & Environnement
Cloud : services AWS
Data Platform : Databricks (Lakehouse)
Streaming : Kafka
Data Governance : Unity Catalog, Collibra
CI/CD : GitHub
Visualisation : Power BI
APIs
Emplois Recommandés
Sales Ops - Account Executive (F/H) - CDI - Paris
Qui sommes-nous ? Depuis 2012, Spartes s'impose comme un acteur incontournable de la performance opérationnelle et économique des entreprises. Notre approche hybride associe conseil, externalisatio…
Chef de projet Supply Chain SI [Luxe-Retail] (H/F)
Description de l'entreprise Prêt à transformer la vision en action ? Magellan est un Groupe international de Conseil en management et de Technologies. Notre force réside dans notre capacité à a…
🏊 Professeur de Natation H/F - Paris- Urgent
Le poste : Description du poste Cours particuliers de natation (apprentissage, perfectionnement, confiance dans l'eau). À domicile (piscine privée) ou en piscine publique selon les disponibili…
Boiseur Naçelliste (H/F)
A propos de Domino RH - Missions Paris Lafayette BTP: Le groupe Domino RH se distingue depuis 26 ans sur le marché des solutions RH. Pour nous, RH signifie Richesses Humaines. Nous considérons chaque…
Technicien Post-Mix - Montpellier, CDI, H/F
Overview Technicien Post-Mix – Montpellier, CDI, H/F WHAT MAKES YOU UNIQUE, MAKE US BETTER Vous êtes à la recherche de nouveaux défis ? Vous êtes prêt à propulser votre carrière ? Postulez dès…
Consultant(e) AdOps Senior & Data Analytique - Freelance
À propos de Digital Prod Digital Prod est une Digital Content Factory : une agence indépendante spécialisée dans la création et la production de contenus digitaux premium pour des marques emblématiq…
Local Facility Manager (H/F/D)
Aéronautique Ingénieur Publiée depuis 1 jour Airbus Group - Airbus Defence & Space Spécialiste européen de la cyber sécurité, Airbus Defence and Space a pour mission de protége…
Ingénieur(e) HPC Senior
Contexte de la mission Alliance Services Plus (AS+) recherche un(e) Consultant(e) HPC Senior pour intervenir dans le cadre d’un projet stratégique de conception et de déploiement d’une solution…
Alternance Content Manager (H/F)
L'entreprise Groupe spécialisée dans l'optimisation des infrastructures techniques des entreprises. Équipe à taille humaine, forte culture terrain. Vos missions Vous prenez en charge la ge…
PLENDI Ingénieur de travaux F/H
La marque PLENDI, marque de luxe de VINCI Construction, recherche un(e) Ingénieur(e) Travaux pour leurs opérations situées sur Paris ou en région parisienne. PLENDI est spécialiste des travaux h…