Senior Data Engineer (Databricks)

NESS Digital Engineering
Senior Data Engineer
Databricks | Cloudové datové platformy
Lokalita
Praha — hybridní režim (až 2 dny z domova týdně)
Projekt
Strategická migrace datového skladu na moderní cloudovou platformu
Role
Konzultant & realizace — od návrhu až po implementaci
Seniority
3+ roky zkušeností v datovém inženýrství
Proč Ness
Věříme, že lidé jsou naším největším aktivem. Profesionalita, inovace, týmová spolupráce a orientace na kvalitu jsou hodnoty, díky kterým patří Ness mezi přední technologické společnosti na světě. Právě tyto principy stojí za naším dlouhodobým úspěchem.
V Ness budete pracovat na produktech a platformách pro jedny z nejinovativnějších technologických firem na světě. Získáte zkušenosti po boku špičkových odborníků, které vám pomůžou urychlit váš profesní růst.
Současně vám nabízíme širokou škálu benefitů – přístup ke školením a certifikacím, bonusy, podporu vzdělávání, společenské aktivity a atraktivní finanční ohodnocení.
Požadavky a odpovědnosti
Jdeme dělat největší migraci svého druhu — přesun datového skladu budovaného roky do moderního cloudového prostředí na platformě Databricks. Výsledkem nebude jen nová technologie, ale základ pro rozvoj nových schopností datově řízené organizace.
Hledáme datového konzultanta. Jeho předmětem bude migrace standardizovaného DWH budovaného roky do moderní datové platformy Databricks a návazné aktivity. Budete pokrývat celou šíři od konzultace a návrhu až po praktickou realizaci v prostředí AWS.
Co budete dělat
Návrh a implementace datových řešení na platformě Databricks v cloudovém prostředí AWS
Tvorba a optimalizace datové architektury — data pipelines, data lakes, lakehouse koncept (Bronze/Silver/Gold)
Analýza business požadavků a jejich převod do technického návrhu, včetně end-to-end integrace datových zdrojů
Konverze a optimalizace SQL logiky při migraci mezi datovými platformami
Návrh a implementace orchestrace datových toků (Apache Airflow nebo ekvivalent)
Nastavení governance, bezpečnosti a řízení přístupů (Unity Catalog, RBAC)
Optimalizace výkonu, škálovatelnosti a nákladovosti datových řešení
Aktivní PoC a validace navrhovaných řešení přímo se zákazníkem
Sledování technologických trendů v oblasti Databricks, cloudových platforem a jejich aplikace v praxi
Podpora architektonických rozhodnutí a definice standardů datového managementu v roli hands-on expertního poradce, s důrazem na efektivitu a časová omezení migrace
Governance a datový life-cycle — metadata management, tagging, datové slovníky, katalogy, nastavení Unity Catalog a nativních možností platformy
Vyhodnocení přístupu k data quality / DQ managementu, včetně nativních Databricks monitoring/profiling nástrojů a možných hybridních řešení
Poradenství k orchestraci datových toků — možnosti a kompromisy při použití Apache Airflow ve spojení s Databricks jobs, včetně best practices a standardů
Podpora při definování DevOps přístupu — CI/CD, metadata/template-driven přístup, monitoring a provoz, napojení na datové slovníky a katalogy (včetně nástrojů)
Definice základních standardů a konvencí — naming conventions, struktura repozitářů, principy nasazení a vybrané governance guardrails
Co od vás očekáváme
Obecné předpoklady:
• Nejdůležitější je proaktivní týmový přístup a chuť dotahovat věci do konce — neočekáváme, že umíte vše. Hledáme člověka, který se ptá, učí se za pochodu a táhne za jeden provaz s týmem.
• Schopnost srozumitelně komunikovat — s týmem i se zákazníkem, bez ohledu na technickou úroveň posluchače
• Zkušenost s pra