Senior Data Engineer AWS (IT) / Freelance

Descriptif de l'offre

Nous recherchons un Data Engineer expérimenté afin de contribuer à la fiabilité, l’automatisation et la scalabilité d’un Lakehouse data.

Vous interviendrez sur la conception et l’orchestration de pipelines, l’optimisation des traitements et l’évolution de l’architecture data dans un environnement moderne basé sur AWS.

Vos missions :

Conception & orchestration

• Concevoir, développer et maintenir des pipelines Airflow pour l’ingestion et la transformation des données

• Mettre en place des frameworks et mécanismes d’automatisation

• Garantir la robustesse, la modularité et la résilience des workflows

Traitement & gestion des flux

• Développer des composants pour le traitement de fichiers plats (CSV, JSON, Parquet…) et leur exposition via API

• Consommer et transformer des flux Kafka avec Spark

• Optimiser la performance et le partitionnement des traitements sur de gros volumes

Collaboration analytique

• Collaborer avec les Data Analysts pour concevoir des agrégats métiers

• Créer et maintenir des vues Athena utilisées dans Tableau

• Garantir la cohérence, la fraîcheur et la traçabilité des données

Évolution du Lakehouse

• Participer à la conception et à l’amélioration continue de l’architecture

• Créer et maintenir des tables de référentiel (clients, contacts, événements, interactions…)

• Implémenter ces référentiels avec Iceberg / Hudi

Supervision & DataOps

• Assurer la supervision quotidienne des pipelines

• Mettre en place alerting et monitoring

• Produire et maintenir la documentation technique

• Minimum 5 ans d’expérience en Data Engineering

• Expérience significative en environnement AWS

• Expertise dans la mise en production et l’orchestration Airflow

Compétences techniques

• Airflow (indispensable)

• Spark (indispensable)

• SQL / Athena (maîtrise requise)

• AWS : S3, Athena, Redshift

• Kafka

• Python apprécié

• Iceberg et/ou Hudi

• CI/CD & IaC : Git, GitLab CI, Terraform ou équivalents

Soft skills

• Autonomie, rigueur, sens du delivery

• Capacité d’industrialisation et de structuration

• Esprit d’équipe et collaboration transverse

A propos de l'entreprise

SILAMIR recherche des talents pour rejoindre son équipe.