Data Platform MS Fabric Databricks

Contexte de la mission
Dans le cadre de l’évolution d’une plateforme Data au sein d’un environnement bancaire, nous recherchons un Data Engineer expérimenté sur Databricks et Microsoft Fabric.
La mission consiste principalement à étendre la couverture fonctionnelle d’une plateforme Data existante en intégrant de nouveaux datasets selon des patterns et standards déjà définis.
L’architecture et le framework étant déjà en place, l’objectif n’est pas de redéfinir la solution, mais de déployer de nouveaux flux de données en respectant les modèles, règles de qualité et processus CI/CD existants.
Missions principales
Intégrer de nouveaux datasets au sein de la plateforme Data existante.
Configurer les nouveaux flux selon les patterns et standards établis.
Développer et adapter les traitements avec PySpark et SQL.
Définir correctement la modélisation des nouvelles données : dimensions, faits, granularité, clés métiers, SCD1/SCD2, snapshots.
Configurer les datasets à travers une approche déclarative, notamment via TOML.
Valider les données selon les règles de qualité et contrats existants.
Analyser et corriger les anomalies rencontrées lors de l'intégration des nouvelles sources.
Déployer les évolutions au travers des pipelines CI/CD Azure DevOps.
Diagnostiquer et résoudre les échecs liés aux quality gates et aux différentes étapes de promotion.
Comprendre fonctionnellement les données bancaires sources afin de garantir leur bonne intégration dans la plateforme.
Data Engineering
Solide expérience Databricks
Maîtrise de Delta Lake
Bonne connaissance de Unity Catalog
Connaissance de Change Data Feed
Très bon niveau en PySpark
Très bon niveau en SQL
Data Modelling
Capacité à déterminer pour chaque nouveau dataset :
dimension vs fact ;
SCD Type 1 vs SCD Type 2 ;
logique de snapshot ;
granularité ;
clés métiers naturelles ;
règles de transformation et de validation.
CI/CD & DevOps
Bonne maîtrise d'Azure DevOps
Expérience de pipelines CI/CD existants
Compréhension des mécanismes de gates et de promotion par branches
Capacité à diagnostiquer les erreurs de déploiement
Une exposition à Databricks Asset Bundles et/ou Terraform constitue un avantage.
Connaissance bancaire
Une expérience du secteur bancaire, idéalement en Private Banking / Wealth Management, est indispensable.
Bonne compréhension de données telles que :
positions ;
transactions ;
Assets under Management (AuM) ;
Net New Assets (NNA) ;
booking centers ;
hiérarchies clients.
La capacité à comprendre fonctionnellement des données provenant d'un Core Banking System est particulièrement importante.
Compétences appréciées
Expérience avec TOML ou des frameworks Data déclaratifs/config-driven
Expérience des patterns Auto CDC
SCD1 / SCD2
Kafka
Spark Declarative Pipelines
Connaissance de Microsoft Fabric
Expérience de la modélisation dimensionnelle
Connaissance de la méthodologie Kimball
Terraform

Employment type
Full-time

Work arrangement
No