Ingénieur Production Data

Le besoin

1. Contexte

L’entreprise renforce son dispositif autour de la donnée afin de consolider, gérer et valoriser son patrimoine data , considéré comme un actif stratégique.
L’objectif est de maintenir et faire évoluer une plateforme data centralisée, sécurisée et performante , au service des usages data et analytics de l’ensemble des directions métier.

La plateforme s’appuie sur un datalake hébergé sur AWS , des jobs de transformation et de production de données (Scala/Spark), ainsi qu’un environnement Dataiku pour le traitement et la mise à disposition des données.

2. Description du besoin

Dans ce cadre, l’entreprise recherche un Ingénieur Production Data intervenant à l’intersection des enjeux Infra / DevOps / Big Data , en lien étroit avec les architectes cloud , tech leads et data engineers .

Missions principales

Administration et maintien en conditions opérationnelles :

• Administrer les composants Dataiku et CloudBeaver (installation, configuration, monitoring, sauvegardes, montées de version).

• Assurer la disponibilité et l’évolution de l’environnement analytics et data science (DSS, Fleet Manager, Spark sur EKS).

• Accompagner les utilisateurs dans l’industrialisation de leurs projets et la mise en œuvre des bonnes pratiques.

Support et expertise technique :

• Gérer et résoudre les incidents impactant la plateforme.

• Conseiller les équipes data (engineering, science, BI) sur les choix d’implémentation et d’architecture.

• Réaliser des audits techniques, analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, etc.) et POC.

Évolution de l’infrastructure :

• Évaluer l’infrastructure existante et proposer une modernisation progressive vers des solutions cloud-natives (PaaS, SaaS, Serverless).

• Intégrer les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps .

• Développer et mettre en œuvre de nouveaux patterns d’acquisition et de traitement des données (micro-batch, streaming, event-driven).

3. Profil recherché

Ce poste requiert une expérience solide dans les environnements Cloud AWS et Big Data , avec une forte appétence pour la fiabilité, l’automatisation et la performance des systèmes de données.

Compétences techniques

• Maîtrise avancée de l’environnement AWS :

  • Services Data & Analytics (Athena, Glue, Glue Data Catalog).

  • Services de compute (EC2, Lambda, EKS).

  • Gestion de conteneurs (EKS, ECR).

  • Frameworks distribués (Spark sur EMR) et traitements temps réel (Kinesis, MSK).

  • Sécurité (IAM, KMS, ACM, LakeFormation, etc.).

• Bonne maîtrise de Dataiku DSS et de son intégration avec AWS (Glue, S3, Athena, EKS).

• Connaissance des outils d’orchestration ( Airflow ) et d’automatisation ( GitLab CI , Terraform , Packer ).

• Bonnes pratiques d’architecture de données et d’infrastructure (modélisation, observabilité, sécurité, coûts).

• Langages : SQL , Python , Bash/Shell pour l’automatisation et l’orchestration.

Compétences relationnelles et méthodologiques

• Capacité à documenter et formaliser les travaux (Word, Confluence, diagrammes, etc.).

• Collaboration étroite avec des équipes pluridisciplinaires dans un environnement Agile/Scrum .

• Aptitude à vulgariser et communiquer avec des profils techniques et non techniques.

• Rigueur, autonomie, sens du service et esprit d’équipe.

Expérience souhaitée

• 5+ ans d’expérience en architecture ou exploitation de plateformes data dans le cloud.

• 3+ ans d’expérience sur les services Data & Analytics AWS.

• Pratique confirmée de Spark, EMR, Kinesis, MSK.

• Maîtrise de GitLab CI, Terraform et DSS.

• Certifications AWS appréciées.