Big Data & Cloud Data Engineer
- Design and implement Hadoop ecosystems including HDFS, YARN, and distributed computing frameworks
- Develop real-time and batch processing applications using Apache Spark (Scala, Python, Java)
- Configure Apache Kafka for event streaming, data ingestion, and real-time data pipelines
- Implement data processing workflows using Apache Airflow, Oozie, and workflow orchestration tools
- Build NoSQL database solutions using HBase, Cassandra, and MongoDB for high-volume data storage
- Design multi-cloud data architectures using Azure Data Factory, AWS Glue, and Google Cloud Dataflow
- Implement data lakes and lakehouses using Azure Data Lake, AWS S3, and Google Cloud Storage
- Configure cloud-native data warehouses including Snowflake, BigQuery, and Azure Synapse Analytics
- Build serverless data processing solutions using AWS Lambda, Azure Functions, and Google Cloud Functions
- Implement containerized data applications using Docker, Kubernetes, and cloud container services
- Develop ETL/ELT pipelines for structured and unstructured data processing
- Create real-time streaming analytics using Kafka Streams, Apache Storm, and cloud streaming services
- Implement data quality frameworks, monitoring, and alerting for production data pipelines
- Build automated data ingestion from various sources including APIs, databases, and file systems
- Design data partitioning, compression, and optimization strategies for performance
- Manage cluster provisioning, scaling, and resource optimization across big data platforms
- Monitor system performance, troubleshoot issues, and implement capacity planning strategies
- Configure security frameworks including Kerberos, Ranger, and cloud IAM services
- Implement backup, disaster recovery, and high availability solutions
- Optimize query performance and implement data governance policies
- 5+ years experience with big data technologies (Hadoop, Spark, Kafka, Hive, HBase)
- Strong programming skills in Python, Scala, Java, and SQL for data processing
- Expert knowledge of at least one major cloud platform (Azure, AWS, GCP) and data services
- Experience with containerization (Docker, Kubernetes) and infrastructure as code (Terraform, CloudFormation)
- Proficiency in stream processing frameworks and real-time analytics architectures
- Knowledge of data modeling, schema design, and database optimization techniques
- Experience with data pipeline orchestration and workflow management tools
- Strong understanding of distributed systems, parallel processing, and scalability patterns
- Knowledge of data formats (Parquet, Avro, ORC) and serialization frameworks
- Experience with version control, CI/CD pipelines, and DevOps practices for data platforms
- Bachelor's degree in Computer Science, Data Engineering, or related field
- Cloud certifications (Azure Data Engineer, AWS Data Analytics, Google Cloud Data Engineer)
- Experience with machine learning platforms and MLOps frameworks
- Background in data governance, data cataloging, and metadata management
- Knowledge of emerging technologies (Delta Lake, Apache Iceberg, dbt)
Emplois Recommandés
Assistante Comptable
Get Carrières recherche pour l'un de ses clients Un/e Assistant/e Comptable à Paris Au sein de l'équipe administrative, vous aurez en charge le traitement et le suivi des situations de travaux le …
TECHNICIEN MÉTROLOGIE LÉGALE PESAGE IPFNA GRANDE ITINÉRANCE - H/F
Présentation de l'entreprise\n Depuis 2022, nous accompagnons nos entreprises partenaires dans la recherche de leurs futurs talents. Nous intervenons sur des secteurs variés (Industrie, Commerce, Ter…
Consultant Senior MOA Comptable / Transformation des SI...
Description Fondé en 2006, Nexialog Consulting est devenu l’un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd’hui 200 collaborateurs dans nos bureaux pa…
Responsable Comptable et Controle de Gestion (H/F)
Le poste de Responsable Comptable et Controle de Gestion (H/F) Nous recrutons pour un client, du domaine de l'architecture, un RESPONSABLE COMPTABILITÉ, CONTRÔLE DE GESTION ET RH H/F en CDI à PARIS…
Senior Project Manager
Location Paris Employment Type Full time Location Type Hybrid Department SELLER SUCCESS Hi, we’re Back Market. We’re here to help make tech reliable, affordable, and…
Responsable Marketing et Communication - Machines de Sport H/F
Le poste de Responsable Marketing et Communication - Machines de Sport H/F En tant que Responsable Marketing et Communication, vous aurez pour missions : * Définir et piloter la stratégie mar…
Infirmier(ère) en Unité de Soins Continus (F/H)
Infirmier(ère) en Unité de Soins Continus (F/H) 3161 Vos missions principales seront : - Assurer la prise en charge des patients nécessitant une surveillance rapprochée - Surveiller en continu les c…
Alternance* - Consultant en Stratégie Digitale (H/F)
STUDI, l’école n°1 de la formation 100 % en ligne , recherche pour son entreprise partenaire, un Consultant en Stratégie Digitale (H/F) en contrat d’apprentissage. Lancez votre carrière dès à …
recherche collaborateurs
L'institut de lutte contre la douleur Paris 5, recherche des médecins collaborateurs : rhumatologue, médecin du sport, psychiatre , médecin généraliste . - Il s'agit de renforcer une équipe pluridisci…
RESPONSABLE D’AGENCE ANGLOPHONE CHEF DE PROJETS / CHARGE DU DEVELOPPEMENT COMMERCIAL TRADUCTION-LOCALISATION FRANÇAIS-ANGLAIS
RESPONSABLE D’AGENCE ANGLOPHONE CHEF DE PROJETS / CHARGE DU DEVELOPPEMENT COMMERCIAL TRADUCTION-LOCALISATION FRANÇAIS-ANGLAIS Qualités requises Polyvalence, professionnalisme, implication, rigu…