Data Engineer / DataOps (Freelance)

Le besoin

Contexte de la mission

Notre client recherche un Data Engineer / DataOps pour renforcer ses équipes dans la mise en place et l’industrialisation de pipelines de données, ainsi que dans la gestion et le déploiement d’environnements data. Le profil attendu doit être capable d’intervenir à la fois sur des sujets engineering et ops, avec une forte autonomie et une expertise complète sur le stack technique.

Responsabilités

Le consultant aura pour rôle de concevoir, déployer et maintenir des environnements data scalables et résilients, développer et orchestrer des pipelines de données batch et streaming, gérer et optimiser l’infrastructure cloud (S3-compatible, Kubernetes, Terraform) et déployer Dataiku DSS sur machine dédiée. Il devra également automatiser les workflows avec Airflow, optimiser les performances et la fiabilité des traitements distribués avec Spark, et garantir la qualité, la sécurité et la disponibilité des données.

Stack technique

L’environnement repose sur Terraform, Kubernetes et du stockage objet compatible S3. Les pipelines sont construits avec Spark et Airflow, appuyés par une base PostgreSQL et Dataiku DSS pour le déploiement et l’exploitation. Les développements se font principalement en Python et SQL, avec un socle CI/CD incluant Git, monitoring et bonnes pratiques DataOps/DevOps.

Profil recherché

Le candidat idéal possède au moins 5 ans d’expérience en Data Engineering et/ou DataOps, une expertise confirmée sur l’ensemble du stack mentionné, et une réelle capacité à travailler en autonomie et à prendre des décisions techniques. Une expérience des environnements hybrides (on-premise et cloud) est attendue, ainsi qu’un bon relationnel permettant une intégration rapide dans l’équipe existante.

Modalités

La mission est prévue pour une durée initiale de 40 jours, avec une extension possible selon les besoins. Elle est basée à Paris, avec un mode hybride privilégiant le télétravail et des présences ponctuelles sur site. Le démarrage est attendu dès que possible.