Data Engineer Scala Spark AWS

Le besoin

Contexte

Nous avons pour mission de consolider, manager et valoriser le patrimoine de données de l’entreprise, considéré comme un capital stratégique.
Notre objectif est de développer des produits et services data transverses, au service des différentes directions métier.

L'équipe est en charge du développement et de la maintenance d’une plateforme data centralisée, sécurisée et fiable , accessible à l’ensemble des métiers.
Elle pilote un datalake opérationnel sur le cloud AWS , un ensemble de jobs de transformation de données (Scala Spark), ainsi que la maintenance de la plateforme Dataiku .

L’équipe est composée de profils variés (Product Owner, Scrum Master, Data Engineers, Architectes...) et travaille en mode agile SAFe , en étroite collaboration avec les équipes de développement produit, métiers, Business Intelligence, Data Science et Data Analyse.

Description du poste

Les ingénieurs data de l’équipe ont deux missions principales :

a. Maintien en condition opérationnelle de la plateforme

• Surveiller et garantir la disponibilité des données et des services

• Assurer la communication avec les utilisateurs de la plateforme

• Répondre aux demandes ad hoc et aux analyses d’anomalies

• Développer des évolutions ou correctifs lorsque nécessaire

• Contribuer à la qualité, la fiabilité et l’exploitation industrielle de la plateforme

b. Design et construction de services et pipelines de données

• Mettre en place des flux de données (acquisition, transformation, export)

• Concevoir des modélisations de données adaptées aux usages

• Développer des pipelines de transformation performants

• Réaliser les tests unitaires et d’intégration

• Garantir la qualité du code via des revues et le respect des standards

• Ordonnancer les traitements et gérer leurs dépendances

• Déployer les développements sur les différents environnements

• Maintenir et enrichir la documentation technique de la plateforme

Profil recherché

Le poste requiert des compétences solides en gestion et transformation de données , ainsi qu’une expérience significative dans des environnements de forte volumétrie .
Une capacité à collaborer avec de multiples interlocuteurs est essentielle.

Compétences techniques attendues

• Maîtrise avancée de Spark Scala , Python et SQL

• Expérience confirmée sur AWS (S3, EMR, EKS, EC2, Lambda, Athena…)

• Bonne connaissance de Dataiku (flows, webapps)

• Pratique de Kafka (MSK) pour les flux temps réel

• Ordonnancement avec Airflow

• Outils de versionning et CI/CD ( GitLab , GitLab CI , Maven )

• Connaissance de l’ Infrastructure as Code ( Terraform )

• Maîtrise des formats de données variés (CSV, XML, JSON, Parquet)

Savoir-être et environnement de travail

• Familiarité avec les méthodologies Scrum / SAFe

• Goût pour la collaboration , l’ échange de connaissances et l’ amélioration continue

• Bonne compréhension des enjeux métiers et business

• Capacité à vulgariser les sujets techniques

• Rigueur, traçabilité, documentation systématique

• Curiosité et capacité d’adaptation aux priorités