Data Engineer - Azure

Le besoin

Missions principales :

• Contribuer à l’évolution de l’offre de service de la plateforme Big Data & ML.

• Définir et maintenir le cadre de référence des principes d’architecture.

• Accompagner les développeurs dans l’appropriation de ce cadre.

• Définir les solutions d’exposition, de consommation et d’export des données métiers.

• Accompagner les équipes dans la mise en œuvre des solutions proposées.

• Participer à la mise en place d’API LLM dans le cadre du socle LLMOPS.

Expertise technique attendue :

Architecture & Cloud Azure

• Définition d’architectures cloud et Big Data distribuées.

• Automatisation des ressources Azure via Terraform et PowerShell.

• Connaissance avancée d’Azure Databricks, Azure Data Lake Storage, Azure Data Factory.

• Administration réseau : vNet Spoke, Subnets Databricks.

• Sécurité : RBAC, ACLs.

Data & IA Platform

• Maîtrise de la chaîne d’ingestion de données : pipelines ADF (Collecte, Routage, Préparation, Refine…).

• Études d’architecture en lien avec l’évolution de la plateforme.

• Administration ADF : Link Services, Integration Runtime.

• Administration Databricks : Tokens, Debug, Clusters, Points de montage.

• Administration Azure Machine Learning : Datastores, accès, debug.

CI/CD & DevOps

• Configuration Azure DevOps : droits, connexions de service.

• Développement de pipelines CI/CD avec Azure Pipelines.

• Gestion des artefacts avec Azure Artifact et Nexus.

• Automatisation des déploiements.

• Pratiques FinOps et optimisation des coûts cloud.

• Agilité & Delivery

• Utilisation de Jira : création d’US/MMF, configuration de filtres, Kanban.

• Participation active aux cérémonies Agile : Sprint, Revue, Démo.

  Développement & Collaboration

• Développement Python : modules socle, code optimisé, tests unitaires.

• Développement PowerShell : déploiement de ressources Azure.

• Maîtrise de Git : push, pull, rebase, stash, gestion des branches.

• Pratiques de développement : qualité, tests unitaires, documentation.

Profil du candidat

• Formation scientifique (école d’ingénieur ou informatique).

• Minimum 5 ans d’expérience dans la définition d’architectures Big Data.

• Expérience significative sur Microsoft Azure.

• Connaissance des patterns d’architecture Big Data, principes DevOps, CI/CD, MLOps.

• Sensibilité aux enjeux de sécurité, de performance et de coût (FinOps).

• Capacité à travailler en environnement agile et collaboratif.