Data Engineer Big Data - Freelance - Freelance

Contexte

Dans le cadre de la maintenance et du passage à l'échelle de différents outils de datavisualisation et d'analytics, la mission vise à assurer la robustesse des chaînes de traitement de données, l'optimisation des performances et l'intégration de nouveaux cas d'usage analytiques.

• Bonne compréhension des architectures Data modernes (Data Lake, Data Mesh, Event-Driven Architecture).
• Maîtrise des principes de conception et d'industrialisation des flux de données batch et temps réel.
• Connaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming).
• Expérience des environnements Cloud AWS et des bonnes pratiques d'exploitation associées.
• Compréhension des enjeux de gouvernance, de qualité et de traçabilité des données.
• Capacité à concevoir des solutions robustes, résilientes et évolutives répondant aux besoins métiers.

Catégorie Compétences obligatoires Compétences souhaitées
Big Data	Spark (PySpark/Spark SQL), optimisation des jobs	Hadoop
Streaming	Kafka (producteur/consommateur, topics, partitions)	Kafka Connect
Langages	Python (Pandas, PySpark), SQL	Scala (option)
Cloud	AWS/GCP/Azure	Terraform, Cloud Storage (S3, GCS)
Monitoring	Datadog (métriques custom, API)	Prometheus, Grafana
Outils Data	Airflow, Dataiku (intégration, recettes)
DevOps	Kubernetes, Helm, Docker, CI/CD (GitLab CI, Jenkins)

Missions

• Assurer le maintien en conditions opérationnelles de l'infrastructure Data sur AWS et des produits existants.
• Concevoir et déployer des topics événementiels permettant la diffusion et la consommation de données en temps réel.
• Renforcer la robustesse, la scalabilité et l'interopérabilité des plateformes de données afin de répondre aux nouveaux besoins métiers et analytiques.

Compétences demandées

• Python (Pandas, PySpark) : confirmé
• Spark (PySpark/Spark SQL) : confirmé
• Kafka (producteur/consommateur, topics, partitions) : confirmé
• Connaissance des architectures événementielles et des mécanismes de publication/consommation d'événements (topics, messaging, streaming) : confirmé