Data Engineer Scala/AWS
Le besoin
Contexte
Au sein de l'organisation Energy Management - Deal & Risk Management et de l'équipe "Risk & PnL", l'équipe est responsable de l'évolution, de la maintenance et du support de l'application MAD utilisée par le Métier Trading Surveillance.
L'application est une solution batch consistant à :
• Import de données de marché issues de diverses plateformes d'exchange/aggrégateurs :
Traitement ETL - Architecture medaillon (silver & gold layers)
Silver layer : données de marché dédoublonnées, normalisées, structurées
Gold layer : génération de carnets d'ordres et best bid/ask sur base des données structurées avec application des règles métier
Calcul d'indicateurs, scenario scoring, génération d'alertes
MAD repose sur la stack technique suivante :
• Front/Back : REACT, API REST ASP.net/C# (Azure WebApp)
• ETL et calculateur en Scala Spark sur AWS cloud (glue job, lambda, step function)
• Scoring/Alerts in C# sur Azure Cloud
Le rôle du Data Engineer dans ce projet consistera à :
• Concevoir et implémenter les composants/pipelines d'ingestion de données en scala spark
• Traiter et normaliser les données
• Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers)
• Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud
• Distribuer les données aux différents consommateurs/Métiers
• Implémenter les règles de Data Quality (DataQuality framework) et gérer le data calatog
• Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code)
• Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, …
• Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données
• Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif :
d'optimiser le temps de calculs,
d'optimiser les performances,
de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations,
de maîtriser et d'optimiser les coûts cloud.
• Être force de proposition pour améliorer les processus et les performances des systèmes.
Compétences requises
• Expertise en Scala et Spark.
• Expérience significative dans le développement d'ETL en contexte Big Data.
• Expérience AWS (Glue, Lambda, Step Function, S3, etc.) : niveau intermédiaire avec exéprience pratique
• Compétences Dev/Ops
• Capacité à travailler en équipe et à communiquer efficacement avec les parties prenantes.
• Organisation, orientation résultats et intérêt marqué pour le fonctionnel.
• Des compétences en Python et REACT seraient un plus pour le candidat
• Minimum 5 ans d'expérience en développement Scala Spark.
• Expérience avérée dans des projets Big Data et ETL.
• Capacité à être force de proposition et à travailler de manière autonome.
• Intérêt pour le secteur de l'énergie, du trading et de la détection d'abus de marché. Contexte entreprise
Une entreprise data-driven cherche à maximiser l'exploitation de ses données pour proposer de nouvelles offres, réduire les risques opérationnels et augmenter l'efficacité des équipes afin de mieux servir les clients. Mode de travail : Suggeré , Hybride
Emplois Recommandés
Collection Merchandiser Ready-to-Wear
Saint Laurent is seeking a Collection Merchandiser for Ready-to-Wear in Paris. The role involves developing and managing collection plans, ensuring product consistency, and coordinating between variou…
Consultant Confirmé/Senior Data Engineer - CDI H/F
Description Fondé en 2006, Nexialog Consulting est devenu l’un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd’hui 200 collaborateurs dans nos bureaux pa…
Réviseur comptable H/F
Description du poste Vos missions Révision des comptes Finalisation du bilan et de la liasse fiscale Participation au RDV bilan avec les clients Vous intervenez sur un portefeuille pri…
Data Scientist NLP / GenAI senior DeepSearch
UNIVERS OBSERVABLE DE L'ENTREPRISE Notre client est une start-up, créée en 2013, qui a développé un outil DeepSearch permettant de collecter et d'analyser un grand volume de données web afin de pr…
Collaborateur comptable H/F
Description du poste Les missions : En collaboration avec un manager, vous avez envie de : Réaliser des missions à forte valeur ajoutée en Expertise Comptable (comptes annuels, situations …
Collaborateur Comptable H/F - Cabinet de Taille Intermédiaire - Paris 2°
Les missions principales pour le poste Collaborateur Comptable H/F - Cabinet de Taille Intermédiaire - Paris 2° Je recherche pour mon client un Collaborateur Comptable H/F dans le cadre d'un CDI.…
Comptable Général - Chargé d'analyse des données financières et comptables (H/F)
Comptalents, cabinet de recrutement spécialisé en Comptabilité et Finance, vous propose chaque jour de nouvelles offres d'emploi ciblées. Notre équipe de 40 collaborateurs vous accompagne dans vos pr…
Chef(fe) de projet MOE TCE rénovation énergétique des bâtiments
L’entreprise : Sénova est une entreprise à mission qui existe pour contribuer activement et avec enthousiasme à la transition écologique des bâtiments . En tant qu’ AMO , maître d’uvre et…
Inside Account Executive-Architecture
Why You'll Love Cisco: Are you ready to make an impact in the World? Do you want to be passionate about the mission of your employer and the brand you represent? Everything is converging on the In…
Chargé d'affaires électricité H/F
Le poste : Nous recherchons activement pour l'un de nos clients un Chargé d'Affaires Électricité pour des chantiers d'installation ainsi que pour des missions de maintenance et dépannage. Missio…