Concepteur-Développeur Bigdata / Databricks | Confirmé - CDI

Contexte

Le pôle BIGDATA développe plusieurs use cases intégrant des données et produisant des résultats quotidiennement. Parmi ces applications Bigdata, une des thématiques importantes du projet est la connaissance de la LAF (lutte Anti Fraude).

Ce use case nécessitant des niveaux importants en termes de performance et de disponibilité se base sur les technologies big data (Spark) pour ingérer, transformer et mettre à disposition des données et indicateurs dérivés des données métier. Ces données sont de natures multiples et fournies par différents acteurs (transporteurs, distributeurs et/ou sondeurs externes…).

Missions

Description détaillée des tâches

• Analyse

  • Analyse des spécifications (sources de données, format et contenu associés) avec prise en compte des pratiques actuelles ou à évoluer des bases de données et des modèles.

  • Établissement/amendement des spécifications techniques.

  • Travail en équipe avec l’expert BI et le métier pour la transcription des besoins en briques input/output.

• Réalisation

  • Réalisation des mises en base et des productions de KPI selon les datamarts du projet, spécifiques aux types de comptages (CDG, CEB, EXT, etc.), aux types de ventes (occasionnel, abonnement) et aux types de validation (actes de contrôle, borne de validation…) ou LAF (lutte anti-fraude).

  • Réalisation des rattrapages au besoin.

  • Développement/adaptation (bash, python, hive, spark, etc.) des algorithmes selon l’évolution éventuelle du cahier des charges et/ou de la source de données.

  • Optimisation de ces codes si nécessaire.

  • Rédaction/modification de la documentation correspondant aux datamarts.

• Qualification (dans le cas d’évolutions fonctionnelles/techniques)

  • Élaboration de jeux d’essais supplémentaires (tests unitaires et d’intégration).

  • Réalisation des tests.

  • Analyse et correction des anomalies.

• Maintenance

  • Maintenance curative : être en contact avec les utilisateurs pour recenser puis corriger des anomalies/incohérences.

  • Maintenance évolutive : participer avec l’architecte bigdata et des homologues d’autres use cases dans le projet, le cas échéant, à la réflexion et à la réalisation des maintenances évolutives (migration de plateforme, nouvelles fonctionnalités).

Compétences requises et souhaitées

• Maîtrise des frameworks bigdata (Spark, etc. ).

• Maîtrise des langages de programmation suivants : bash, sql, python (pyspark).

• Expérience d’un outil de git (gitlab/github).

• Solide expérience pour les plateformes Databricks et AZURE .

• Maîtrise de différents formats de données SQL (managed/external), Parquet, JSON , CSV, et Delta .

Informations complémentaires

• La mission nécessite des connaissances SI importantes.

• Une expérience d ’au moins 5 ans dont au moins 3 ans en tant que concepteur-développeur bigdata est nécessaire, de préférence dans un contexte multi-métiers.

• Une expérience dans le contexte ferroviaire est fortement souhaitée, avec de préférence des connaissances relatives aux matériels roulants, aux comptages embarqués, au plan de transport, au modèle de fréquentation, etc.

• Le projet proposant des rapports de Business Intelligence comme produits finaux, la connaissance de l’outil BI, de préférence Power BI, est un plus.