Data Engineer GCP & BigQuery orienté infra/archi

Le besoin

Description du Poste :

Nous recherchons un Data Engineer expérimenté pour rejoindre notre équipe, composée de 3 Data Engineers et d'un Tech Lead GCP.

Cette équipe est le cœur de notre plateforme de données, responsable de l'ingestion et de la normalisation des données.

Son rôle sera également de travailler sur la création, la maintenance et l'amélioration de l'infrastructure, ainsi que sur les processus CI/CD et la documentation, dans un contexte Agile SAFE.

Responsabilités :

· Participer à l'ingestion et à la normalisation des données pour notre Data Platform (DP).

· Développer et gérer des pipelines de données utilisant BigQuery, Cloud Run Functions, EventArc, Pub/Sub, et d'autres services GCP.

· Utiliser DBT pour la modélisation, le testing, la création de macros, et le suivi du lineage de données.

· Maîtriser Dataform pour la gestion et l'optimisation des flux de données.

· Assurer la qualité, la sécurité et la conformité des données.

· Optimiser les performances des requêtes et des flux de données.

· Gérer et améliorer l'infrastructure CI/CD, incluant l'utilisation de Terraform pour la création d'infrastructure.

· Documenter les processus et les solutions pour assurer la clarté et la continuité des opérations.

· Travailler dans un contexte Agile SAFe pour assurer des livraisons efficaces et continues.

· Participer à la veille technologique pour identifier les nouvelles opportunités d'amélioration des solutions de données.

Exigences :

· Expérience confirmée en tant que Data Engineer, avec une expertise démontrée sur la plateforme GCP.

· Maîtrise des services GCP tels que BigQuery, Cloud Run Functions, EventArc, Pub/Sub, etc.

· Solides compétences en DBT pour la modélisation, le testing, et la gestion des macros et du lineage de données.

· Expérience avec Dataform pour la gestion des flux de données.

· Solide connaissance et maîtrise de Python pour le développement et l'automatisation des processus de données.

· Solides compétences en SQL et en modélisation de données.

· Connaissance des langages de programmation tels que Python (Java, JavaScript en plus).

· Compétences avancées en CI/CD, incluant l'utilisation d'Azure DevOps, Docker, et la gestion de pipelines.

· Expérience avec Terraform pour la création d'infrastructure.

· Expérience de travail dans un environnement Agile SAFE.

· Capacité à travailler en équipe et à communiquer efficacement avec des parties prenantes techniques et non techniques.

Qualités Personnelles :

· Esprit analytique et résolution de problèmes.

· Autonomie et proactivité.

· Capacité à s'adapter à un environnement en évolution rapide.

Expérience souhaitée : 5 à 10 ans d’expérience de Data engineer GCP BigQuery