Big Data & Cloud Data Engineer
Big Data & Cloud Data Engineer Position Overview We are seeking a Big Data & Cloud Data Engineer to design, implement, and manage large-scale data processing systems using big data technologies (Hadoop, Spark, Kafka) and cloud-based data ecosystems (Azure, GCP, AWS), enabling advanced analytics and real-time data processing capabilities across our enterprise. Key Responsibilities Big Data Platform Development
- Design and implement Hadoop ecosystems including HDFS, YARN, and distributed computing frameworks
- Develop real-time and batch processing applications using Apache Spark (Scala, Python, Java)
- Configure Apache Kafka for event streaming, data ingestion, and real-time data pipelines
- Implement data processing workflows using Apache Airflow, Oozie, and workflow orchestration tools
- Build NoSQL database solutions using HBase, Cassandra, and MongoDB for high-volume data storage
- Design multi-cloud data architectures using Azure Data Factory, AWS Glue, and Google Cloud Dataflow
- Implement data lakes and lakehouses using Azure Data Lake, AWS S3, and Google Cloud Storage
- Configure cloud-native data warehouses including Snowflake, BigQuery, and Azure Synapse Analytics
- Build serverless data processing solutions using AWS Lambda, Azure Functions, and Google Cloud Functions
- Implement containerized data applications using Docker, Kubernetes, and cloud container services
- Develop ETL/ELT pipelines for structured and unstructured data processing
- Create real-time streaming analytics using Kafka Streams, Apache Storm, and cloud streaming services
- Implement data quality frameworks, monitoring, and alerting for production data pipelines
- Build automated data ingestion from various sources including APIs, databases, and file systems
- Design data partitioning, compression, and optimization strategies for performance
- Manage cluster provisioning, scaling, and resource optimization across big data platforms
- Monitor system performance, troubleshoot issues, and implement capacity planning strategies
- Configure security frameworks including Kerberos, Ranger, and cloud IAM services
- Implement backup, disaster recovery, and high availability solutions
- Optimize query performance and implement data governance policies
- 5+ years experience with big data technologies (Hadoop, Spark, Kafka, Hive, HBase)
- Strong programming skills in Python, Scala, Java, and SQL for data processing
- Expert knowledge of at least one major cloud platform (Azure, AWS, GCP) and data services
- Experience with containerization (Docker, Kubernetes) and infrastructure as code (Terraform, CloudFormation)
- Proficiency in stream processing frameworks and real-time analytics architectures
- Knowledge of data modeling, schema design, and database optimization techniques
- Experience with data pipeline orchestration and workflow management tools
- Strong understanding of distributed systems, parallel processing, and scalability patterns
- Knowledge of data formats (Parquet, Avro, ORC) and serialization frameworks
- Experience with version control, CI/CD pipelines, and DevOps practices for data platforms
- Bachelor's degree in Computer Science, Data Engineering, or related field
- Cloud certifications (Azure Data Engineer, AWS Data Analytics, Google Cloud Data Engineer)
- Experience with machine learning platforms and MLOps frameworks
- Background in data governance, data cataloging, and metadata management
- Knowledge of emerging technologies (Delta Lake, Apache Iceberg, dbt)
Emplois Recommandés
PLANIFICATEUR - SÉCURITÉ PRIVÉE - COEF 185 AM H/F
L'entreprise familiale GROUPE BUCKLER SECURITY a construit sa réputation depuis 15 ans dans un secteur d'activité très concurrentiel.Spécialisé dans le luxe, nous accompagnons au quotidien nos clients…
Responsable des études techniques actuarielles
Responsable des études techniques actuarielles La société Groupe mutualiste Le contexte Groupement de mutuelles dont le siège est à basé Paris, notre client crée le poste de Responsable d'études t…
Business Analyst ServiceNow F/H
Qui sommes-nous ? BPCE-IT , c'est 1 700 collaborateur.trices engagé.es pour proposer des services d'infrastructures , de sécurité informatique et de production applicative pour les utilisateur…
Travailleur social H/F
Dans quel établissement Aurore ? Le centre d'hébergement d'urgence (CHU) Bastion de Bercy a ouvert en décembre 2017. Il accueille 308 personnes (personnes isolées, couples et familles). Chaq…
Guest Services Ambassador
Cheval Blanc Paris seeks a Guest Services Ambassador to serve as the initial point of contact for guests, ensuring their first experience is warm, professional, and reflective of the Cheval Blanc bran…
CONSEILLER DE VENTE (H/F) - PRÊT-À-PORTER HAUT DE GAMME
À propos de notre client : Notre client est une maison italienne de prêt-à-porter masculin haut de gamme, reconnue pour l'élégance de ses coupes, la qualité de ses matières et son esprit contemporain…
Auxiliaire de puériculture Volant - H/F
Présentation Depuis 2004, le Groupe La Maison Bleue, entreprise spécialisée dans la gestion de crèches pour les entreprises et les collectivités, reste fidèle à ses valeurs…
Commercial Performance Assistant
La Samaritaine in Paris is seeking a Commercial Performance Assistant for a six-month full-time position starting January 2026. The role involves consolidating performance data, coordinating with vari…
Consultant(e) Senior Consolidation Banque/Assurance - CDI...
Description Fondé en 2006, Nexialog Consulting est devenu l’un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd’hui 200 collaborateurs dans nos bureaux pa…
INTERVENANT SOCIAL SOCIO ÉDUCATIF H/F
INTERVENANT SOCIAL SOCIO ÉDUCATIF H/F 07102025-3073 Au sein d'une équipe pluridisciplinaire et dans un contexte multiculturel, vous êtes en charge de l'accompagnement socio-éducatif des Mineurs Isolés…