Data Engineer / Devops - Production

Le besoin

Contexte client :
Notre client, un acteur majeur du secteur Banque / Assurance, exploite plusieurs plateformes Data critiques actuellement déployées sur IKS (IBM Kubernetes Service) et en cours de migration vers OpenShift. Ces environnements couvrent principalement Apache Spark, Apache Airflow (via Astronomer) et Starburst (Trino), et sont essentiels aux traitements analytiques de l’entreprise.

Objectifs de la mission :
Le consultant interviendra au sein de l’équipe de production pour assurer le maintien en condition opérationnelle des plateformes. Les principales responsabilités incluent :

• Le support de niveau 2 en environnement de production (incidents, analyses, root cause).

• L’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement).

• L’amélioration de l’orchestration via Airflow et la gestion des catalogues Starburst.

• L’accompagnement des équipes métiers pour une utilisation efficace et sécurisée des outils.

• La contribution à la documentation technique et aux procédures d’exploitation.

• La participation à l’amélioration continue de l’écosystème DataOps.

Compétences recherchées :

• Expérience significative sur des environnements Data en production.

• Maîtrise d’au moins deux technologies parmi Spark, Airflow, Starburst.

• Excellente compréhension des environnements Kubernetes, notamment la gestion via Helm Charts.

• Solide expérience en support de production, monitoring, observabilité (Dynatrace, Kibana, Grafana).

• Bonnes pratiques d’exploitation des traitements data distribués.

• Compétences en tuning Spark, gestion fine des ressources et profiling applicatif.

• Maîtrise des outils CI/CD : Git, Jenkins, Gitlab CI.

• Connaissances en scripting : Python, Bash, Ansible.

• Connaissance de Hashicorp Vault, gestion des secrets et PKI.

• Bonnes capacités rédactionnelles et esprit d’analyse.

• Français courant, anglais professionnel.

Informations pratiques :

• Lieu : Île-de-France (hybride possible)

• Démarrage : ASAP

• Durée : Long terme

• Secteur : Banque / Assurance

• Contexte technique : Spark, Airflow, Trino, Kubernetes, OpenShift, GitLab CI, Dynatrace, Vault