Data Engineer / DataOps GCP DBT

Le besoin

Contexte :

Mission au sein du département Data, rattachée à l'équipe Ingénierie composée de 2 personnes dont les missions sont de développer des Data pipelines en y ajoutant une couche d’automatisation et d’orchestration avec un versioning complet de tous les composants ainsi qu’une pipeline de CI/CD.

Le but est également de s’assurer que les best practices relatives aux pipelines ETL/ELT soient respectées.

En plus de compétences techniques, il est attendu quelqu’un qui porte un fort intérêt pour les données, leur compréhension et qui soit capable de dialoguer avec les équipes métiers pour comprendre les enjeux, aidant au bon développement et à la maintenance des transformations.

Missions :

Faciliter l'évolutivité grâce à une architecture normalisée et à des principes de conception appropriés

Développer les Data pipelines et traiter des enjeux d'automatisation / orchestration via les outils présentés ci-après

Garantir la meilleure qualité de données possible grâce à un outil de contrôle dédié (Python, DBT ou tests MonteCarlo)

Assurer la conformité avec les politiques de gouvernance et de sécurité des données

Critères requis :

Expert en data processing et traitement de la donnée

Forte maitrise de SQL, DBT, Airflow et/ou Composer

Maitrise de Python, Git, Docker

Maîtrise des services GCP (BigQuery, Storage, Dataflow, Cloud Function, ...)

Attention particulière aux détails et aux subtilités dans le traitement des données

Vous savez travailler dans un environnement agile et international

Vous êtes rigoureux, organisé, ouvert d'esprit

Vous disposez de solides compétences en matière de communication (tech et métiers) et de coopération interdisciplinaire