Data Engineer - Freelance
Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers.
L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake :
Gestion de la production
Gestion de la dette technique
Revoir l'architecture actuelle et proposer des évolutions
Développements liés aux projets
Description :
Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise
Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent
Activités et tâches :
Acheminement de la donnée
Mise à disposition de la donnée aux équipes utilisatrices
Mise en production de modèles statistiques
Suivi de projet de développement
Développement job spark
Traitement et ingestion de plusieurs formats des données
Développement des scripts
Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données
Développement des moyens de restitution via génération de fichier et ou API & Dashboarding
Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers
Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)
Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP
Participer à la conception, mise en place et administration de solutions Big Data
Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka
Normalisation et agrégation des données afin de produire les rapports sous forme de Business View
Emplois Recommandés
architecte informatique SIG F/H (IT)
Poste : Architecte SIG F/H Contrat : CDI Lieu : Coexya Paris Salaire : 46/52KEUR CONTEXTE Pour accompagner la croissance de notre entité spécialisée en systèmes d'informations géographiques, nous re…
Enseignant(e) à l'EDNH - École de Diététique et Nutrition Humaine F/H
Description de l'entreprise Le Groupe Diderot Éducation est aujourd’hui l’un des acteurs majeurs de l’enseignement privé en France. Il se distingue par un accompagnement personnal…
Marketing Product Assistant
Chanel seeks a Marketing Product Assistant in Paris to support European makeup campaigns and analyses. This role involves liaising between markets, assisting in campaign preparations, and conducting c…
Collaborateur Comptable et conseil H/F - Paris 16e
Le poste : Votre mission Dans le cadre d'un renfort d'équipe +1 pour alléger les portefeuilles, vous rejoignez le pôle expertise comptable et prenez en charge un portefeuille clients varié, c…
Gestionnaire technique tertiaire H/F
Workyn! est un cabinet de recrutement spécialisé dans le secteur de l'immobilier sur l'ensemble des fonctions corporate et opérationnelles. Nous accompagnons nos candidats afin de les mettre en r…
COMPTABLE GÉNÉRAL (F/H)
Poste ouvert aux personnes en situation de handicap.Nous recherchons pour le compte de notre client UN COMPTABLE GÉNÉRALE Cette entreprise en forte croissance, présente sur plusieurs continents, accom…
Conducteur de Travaux Principal GO H/F (1)
Présentation de l'agence LTd compte 9 agences spécialisées en recrutement et en travail temporaire organisées par pôle d'expertise en Ingénierie, Encadrement BTP et Tertiaire Haut de Gamme - F…
Au Pair
We are a nice family in our young 40's with 2 lovely daughters Rebecca and Emma. We are located in the historical central Paris close to the luxembourg gardens. The duties are to bring the girls to sc…
DBA Senior - Expertise Spatial (PostGIS / Oracle) (IT) / Freelance
Descriptif de l'offre Le contexte Environnement de production critique lié à la gestion de la réassurance publique. Des bases volumineuses (3 à 5 To PostgreSQL/PostGIS, 4 à 5 To Oracle), des …
Accompagnant.e éducatif.ve et social.e.en CDD F/H
Description de l'entreprise L'institut médicoéducatif Daviel accompagne des enfants et adolescents de 3 à 20 ans, en situation de handicap rare (troubles complexes du langage et/…