Descriptif du poste
Bonjour,
je cherche en urgence pour un client
Data Engineer Senior Minimum 5ans d'Expériences sur Hadoop, Spark, Kafka,PySpark,Data Lake On premise Freelance Durée 2 mois et demi Casablanca
1.OBJECTIF
Dans le cadre du projet Big Data, et plus précisément la fiabilisation et l’évolution des Uses Case mis en production et de leurs évolutions, nous avons besoin de renforcer le dispositif d’accompagnement actuel par un profil Data Engineer.
DESCRIPTIF DU POSTE:
Le Data Engineer sera responsable de :
• Mettre en place les pipelines de données nécessaires pour la réalisation des uses cases
business.
• La qualification des données BigData.
• L’implémentation des projets data de bout en bout (depuis la réception des besoins client jusqu’à la mise en service).
• Travailler en étroite collaboration avec les équipes Business et data mining pour la mise en place de la roadmap des uses cases data.
• Maintien d’un cadre de travail agréable, basé sur l’entraide, le partage et l’apprentissage.
Profil Recherché
Expertise technique exigée :
• Démontrer la compétence et la crédibilité nécessaires pour garantir le succès des projets BigData
• Rechercher et développer de nouvelles approches techniques pour résoudre efficacement les problèmes.
• Expérience dans les technologies Big Data tel que Hadoop, Spark, Kafka ...
• Livraison de projets liés à Data Lake / Big Data, y compris (ingestion de données application de modèle d'apprentissage automatique, déploiement de code)
Périmètre des systèmes gérés :
1. Big Data Appliance Oracle : Data Lake On premise
2. Data Analytics : Solution d’analytics, visualisation et restitution des données.
3. Sandbox : Environnement de travail data science.
Activités du poste :
• Assurer la collecte et l’ingestion des données depuis les différentes sources.
• Assurer le pré-processing des données afin d’avoir une donnée qualifiée et fiable.
• Assurer le processing des données pour permettre l’alimentation de la
« federated zone ».
• Développement des scripts pour le calcul des agrégats et KPI business pour l’alimentation de « l’Analytics Zone »
• Suivre l’état de fonctionnement, en production, des produits développés sur les systèmes
BIGDATA : Usages, anomalies, performance commerciale, performance technique ; proposer et
mettre en œuvre les améliorations possibles.
• Réaliser les demandes Business analytics et Reporting en assurant la qualité et la disponibilité des données
Formation/Expérience:
• Profil confirmé à Senior à partir de 5 ans d’expérience professionnelle dans le développement sur des écosystèmes Big Data On-Premise.
• Curiosité intellectuelle et veille technique.
• Excellentes compétences en termes de résolution de problèmes. Capacité de structurer et de prioriser une approche pour avoir un impact maximal.
• Expérience en conception et intégration des données / ETL.
• Expérience avec Python, PySpark, Jupiter notebook, Impala, Linux, SQL, infrastructure cloud et Docker, Gitlab.
• Expérience Airflow, DBT, CI/CD, Jenkins est un plus
Indicateurs de performance :
• Respect des engagements (délais, qualité)
• Conformité et qualité des livrables fournis
• Reporting sur l’avancement sur le projet
3. MODE DE TRAVAIL
• Mode de travail hybride : présentiel et à distance.
• Respecter les horaires de travail en vigueur chez entreprise.
• Disposer des outils de collaboration à distance en one-to-one ou à plusieurs permettant
d’interagir avec les parties prenantes du projet.
• Les échanges de fichiers et documents doivent se faire via des moyens sécurisés pour respecter les règles de confidentialité.
• Disponibilité : Immédiate
4. DUREE DE LA MISSION
A titre indicatif, le nombre de Jours/ Homme (JH) souhaité est de 54 JH
Si vous êtes intéressé merci d'envoyer votre candidature
Salaire Net + primes
A discuter
