Data Engineer AWS

Le besoin

Pour un acteur de l'audiovisuel

Définition du besoin : Le département Data IA (DaIA) est en charge de mettre à disposition des métiers un socle technologique transverse permettant de mettre en production et industrialiser les cas d’usage Data et IA en développant notamment une plateforme d’enrichissement des métadonnées des contenus (IA & GenAI)

Prestations attendues : Pour cela, nous recherchons une prestation de Data engineering (2 profils identiques) pour nous aider à concevoir, construire et gérer notre infrastructure AWS : Développement de la plateforme de microservices AWS

• Industrialisation des cas d’usage métiers du groupe en lien avec les media

• Assurer la qualité, la fiabilité et l'accessibilité des données.

• Développer les pipelines de traitement de données avec orientation media

• Collaborer avec les équipes de data science pour comprendre les besoins en données et mettre en place les solutions appropriées.

• Recueillir les besoins avec des métiers ou clients.

• Assurer la maintenance et l'optimisation des systèmes de données existants. Livrables attendus : Des analyses, développements et documentations de qualité. Expertises demandées pour la réalisation de la prestation :

• Minimum de 4 ans d’expériences significative dans le type d’expertise demandé

• Être dans une communication de grande qualité et savoir discuter dans des situations tendues.

• Avoir une expérience efficace et rigoureuse de la gestion de produits.

• Avoir une capacité à travailler de manière autonome et à gérer efficacement plusieurs tâches simultanément.

• Être force proposition et savoir remonter les alertes aux responsables projet ou technique.

• Expérience en ingénierie de données, en particulier avec les technologies de big data : EXPERT

• Connaisse de l’ingénierie de traitement de la donnée non structurée : CONFIRME

• Connaissance en architecture micro-service et l’utilisation d’API externe : CONFIRME

• Connaissance des langages de programmation et de Génie Logiciel (Python) :

• Programmation Orientée Objet : MAITRISE

• Connaissance et utilisation des Design Patterns standard : MAITRISE

• Frameworks/Librairies de tests : MAITRISE

• Observabilité applicative : CONFIRME

• Mesures de performances : CONFIRME

• Expérience avec les bases de données SQL et Graph : CONFIRME

• Connaissance des technologies de conteneurisation : o Utilisation de la CLI Docker : MAITRISE

o Création et optimisation des images : MAITRISE

o Utilisation de docker-compose : CONFIRME o Utilisation de la CLI Kubernetes : MAITRISE

o Création et utilisation des déploiements Kubernetes : CONFIRME

o Résolution de problèmes sur environnement Kubernetes : CONFIRME

o Utilisation de Helm pour le déploiement de workload sur Kubernetes : CONFIRME

• Compétence des technologies de CI/CD et Infra as Code :

o Expérience du process GitFlow : MAITRISE

o Utilisation des commits sémantiques/feature branches : MAITRISE

o Mise en place de pipelines/jobs : CONFIRME

o Mise en place de process GitOps : CONFIRME

o Utilisation des concepts, modules et templates Teraform : MAITRISE

o Utilisation de Ansible : CONNAISSANCE

o Capacité à travailler en équipe et à communiquer efficacement (Agile, JIRA) : MAITRISE

• Expérience des services AWS suivants :

o IAM : mise en place de rôles/policies (CLI et Terraform) : CONFIRME

o S3 : gestion des buckets/cycle de vie des objets : MAITRISE

o Lambda : Déploiement de lambda utilisant des conteneurs sur ECR via Terraform. Déclenchement via Triggers S3/EventBridge. Optimisation de l’utilisation des ressources et du scaling : MAITRISE

o Secret Manager : Création et accès via Terraform. Gestion du cycle de vie : CONFIRME

o VPC & Security Groups : Compréhension des concepts réseaux et de sécurité : CONFIRME