DATA ENGINEER F/H

Notre client, grand nom du secteur bancaire , développe des plateformes de données de pointe pour transformer ses processus décisionnels. Nous recherchons un(e) Data Engineer confirmé(e) pour concevoir, automatiser et industrialiser les pipelines de données à grande échelle, en garantissant la scalabilité et la robustesse des systèmes.

Vos missions :

Gestion des socles techniques :

• Développer, maintenir et faire évoluer les assets projets (modules de test et validation), de déploiement (scripts CI/CD) et d'infrastructure.

• Valider la conformité des évolutions d'infrastructure nécessaires aux cas d'usages..

Conception et implémentation des pipelines de données :

• Concevoir et développer des pipelines automatisés (ingestion et transformation) vers le Data Hub.

• Utiliser l'outil xDI pour les mappings et développements afin d'assurer la traçabilité.

• Optimiser les pipelines pour garantir des performances élevées et une faible latence entre le Cloud et le Legacy.

Industrialisation et automatisation :

• Industrialiser les modèles de Machine Learning et les flux de données à grande échelle.

• Collaborer avec les Data Scientists et MLOps pour assurer la transition fluide de l'exploration vers la production (Guidelines STELLAR).

• Automatiser la gestion des traitements pour réduire les interventions manuelles.

Gestion des données et optimisation :

• Optimiser les performances des requêtes et des pipelines via les meilleures pratiques d’architecture de stockage (raw, refined, trusted layers).

• Assurer une surveillance continue de la qualité et mettre en place des contrôles de validation.

Sécurité et gouvernance des données :

• Mettre en œuvre les solutions de sécurisation (chiffrage, accès, audits) en conformité avec le RGPD.

• Travailler avec le Data Office pour l'alignement avec les politiques définies.

• Maintenir la documentation technique (Confluence) et la gestion des métadonnées.

Environnement technique

• Stack : xDI (important), Spark, SQL, Python, Dataiku.

• Infrastructure : IBM Cloud, Data Hub, AS400 (Legacy).

• Concepts : Data Warehouses, Data Hubs, Data Platform Build.

• DevOps : Git, pipelines CI/CD (Gitlab).

• Méthodologie : Agile (Squads).

✅ Expertise Engineering : Niveau Confirmé (minimum 3 à 5 ans d'expérience) sur des problématiques de mise en production et de scalabilité.

✅ Compétences transverses : Maîtrise de l’automatisation des flux Data Science et de l'industrialisation.

✅ Sécurité : Connaissance approfondie des enjeux de sécurité, de conformité réglementaire (RGPD) et de gouvernance.

✅ Soft Skills : Capacité à travailler étroitement avec les équipes métiers et data science pour adapter les solutions techniques aux besoins réels.

✅ Langues : Maîtrise de l’anglais indispensable pour interagir avec les parties prenantes.