Data Engineer

Le besoin

Description du poste
Depuis 2022, la direction Perf & Data s'appuie sur Dataiku pour accélérer ses études, modélisations statistiques et reportings sur les clients/utilisateurs. L'infrastructure sous-jacente est intégralement hébergée dans le cloud AWS (stockage parquet sur bucket S3 et compute Spark via cluster Kubernetes).

L'équipe a besoin d'un renfort externe disposant d'une expertise technique avancée sur Dataiku et son écosystème, afin :

• d'améliorer la performance des flows,

• d'optimiser l'industrialisation des projets,

• d'assurer un rôle de pilotage responsable de la performance et des coûts,

• et de fluidifier la mise à disposition des données vers les outils d'activation marketing (Salesforce, Adobe Campaign, Weborama…).

Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d'IA et architecture applicative, le data engineer participe à la conception d'applications mettant à l'échelle des algorithmes créateurs de valeur pour l'entreprise.

Livrables

• Définition et analyse des structures de données.

• Contribution dans les assets des différentes équipes produits pour interconnecter et collecter les données.

• Mise à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données).

• Connaître et respecter dans nos propositions de valeur les exigences et problématiques liées aux réglementations en vigueur (RGPD, Data privacy, etc.) et aux standards et tendances du secteur (éco-conception, etc.).

• Garant de la production (mise en place de monitoring et alerting et intervention si nécessaire).

• Développement et maintien du continuous delivery (participer à l'intégration continue et à l'usine logicielle, déploiements et tests automatisés).

• Présentation et explication des réalisations à des publics métiers et techniques.

Compétences

• Connaissances en développement dans un langage de programmation (PYTHON, SCALA et/ou JAVA).

• Maîtrise de technologies Big Data: développement SPARK, outils d'extraction de la donnée (workflows SPARK) et outils de stockage (stockage objet / base relationnelle / NoSQL).

• Agilité.

• Force de proposition.

• Autonomie.

• Bonne capacité à travailler en équipe.

• Esprit d'analyse et de synthèse.

Compétences clés

Obligatoire

• Big Data

• AWS

• Dataiku

• Développement SPARK