Data Engineer (Senior) / (m/w/d) | 95 % remote

Als Data Engineer mit Fokus auf Azure und Databricks gestaltest du moderne daten- und AI-getriebene Plattformen. Du entwickelst skalierbare Lakehouse- und AI-Architekturen, die klassische Analytics- und BI-Anwendungen ebenso unterstützen wie Machine-Learning-, Generative-AI- und agentenbasierte Workloads.
Du konzipierst AI-Systeme von der Auswahl geeigneter Modelle und Anbieter über Datenanbindung, Evaluation und Governance bis hin zum sicheren und skalierbaren Betrieb. Dabei kennst du die typischen Herausforderungen produktiver AI-Lösungen und entwickelst Architekturen, die hinsichtlich Qualität, Sicherheit, Datenschutz, Performance und Kosten überzeugen.
Neben der technischen Architektur übernimmst du eine zentrale Rolle in der Beratung unserer Kunden – von der ersten Daten- und AI-Strategie über das Solution Design bis zur Umsetzung.
Du arbeitest eng mit Data Engineers, Data Scientists, AI Engineers, Cloud-Teams und Fachbereichen zusammen und übernimmst fachliche Führung innerhalb unserer Projekte. Perspektivisch besteht die Möglichkeit, auch disziplinarische Führungsverantwortung zu übernehmen.
Deine Aufgaben
Architektur und Design moderner Data- und AI-Plattformen auf Basis von Azure, Databricks und Lakehouse-Architekturen
Entwicklung skalierbarer End-to-End-Datenlösungen von der Datenintegration bis zur analytischen und AI-gestützten Nutzung
Konzeption und Aufbau produktiver AI-Systeme, beispielsweise für Generative AI, RAG, Document Intelligence, intelligente Suche und AI Agents
Auswahl und Bewertung geeigneter AI-Modelle, Plattformen und Anbieter unter Berücksichtigung von Qualität, Datenschutz, Kosten, Skalierbarkeit und Vendor Lock-in
Integration unterschiedlicher kommerzieller und Open-Source-Modelle, beispielsweise über Azure AI Foundry, Azure OpenAI, Databricks oder vergleichbare Plattformen
Entwicklung von Evaluations- und Monitoring-Konzepten für AI-Anwendungen, unter anderem hinsichtlich Antwortqualität, Halluzinationen, Latenz, Kosten und Zuverlässigkeit
Gestaltung sicherer AI-Architekturen inklusive Zugriffskontrollen, Datenschutz, Guardrails, Prompt-Injection-Schutz und verantwortungsvoller AI-Nutzung
Aufbau von LLMOps-, MLOps- und Model-Lifecycle-Prozessen für Entwicklung, Testing, Deployment, Monitoring und kontinuierliche Verbesserung
Design und Implementierung von ETL-/ELT-Pipelines mit Python, SQL und PySpark
Nutzung des Databricks-Ökosystems, insbesondere Delta Lake, Unity Catalog, MLflow und Databricks Workflows
Aufbau und Integration klassischer Machine-Learning-Workflows und MLOps-Strukturen
Technische Leitung und Koordination mehrerer Data-, Analytics- und AI-Projekte
Fachliche Führung und Mentoring von Data Engineers, AI Engineers und Analytics-Teams
Beratung unserer Kunden bei der Konzeption moderner Data- und AI-Plattformen sowie bei der Identifikation sinnvoller AI-Anwendungsfälle
Übersetzung fachlicher Anforderungen in realistische, produktionsfähige Lösungsarchitekturen
Unterstützung bei Pre-Sales- und Sales-Aktivitäten, insbesondere durch:
Solution Designs und Architekturkonzepte
technische Workshops und Discovery Sessions
Entwicklung von Prototypen und Proofs of Concept
Unterstützung bei Angebots- und Lösungspräsentationen
Sicherstellung von Performance, Skalierbarkeit, Zuverlässigkeit und Kostenoptimierung in der Cloud
Entwicklung von Best Practices für Data Governance, AI Governance, Security und Data Quality
Dein Profil
Mehrjährige Erfahrung im Design und Betrieb moderner Cloud-Datenplattformen
Sehr gute Kenntnisse in Azure, Python, SQL und Databricks
Fundierte Erfahrung mit Lakehouse-Architekturen und Data-Engineering-Workflows
Praktische Erfahrung in der Konzeption oder Umsetzung produktiver AI- und Machine-Learning-Systeme
Erfahrung mit Generative AI, Large Language Models, RAG-Architekturen oder AI Agents
Verständnis der unterschiedlichen Stärken und Grenzen kommerzieller und offener AI-Modelle sowie Erfahrung mit verschiedenen Modellen oder Anbietern
Fähigkeit, geeignete Modelle und Technologien abhängig vom jeweiligen Anwendungsfall auszuwählen und fundiert zu bewerten
Kenntnisse typischer Herausforderungen produktiver AI-Systeme, beispielsweise:
Halluzinationen und schwankende Antwortqualität
fehlende oder unzureichende Evaluation
Datenschutz und Informationssicherheit
Prompt Injection und unkontrollierte Tool-Nutzung
Latenz, Skalierbarkeit und Kosten
Abhängigkeit von einzelnen Modellen oder Anbietern
Erfahrung mit MLflow, Machine-Learning-Pipelines, MLOps oder LLMOps
Erfahrung mit Delta Lake, Databricks Workflows und Data Orchestration
Erfahrung oder Interesse an Pre-Sales- und kundenorientierten Solution-Design-Aktivitäten
Erfahrung oder erste Berührungspunkte mit fachlicher Führung oder technischer Projektleitung
Interesse daran, perspektivisch auch disziplinarische Führungsverantwortung zu übernehmen
Erfahrung mit CI/CD, Git, Infrastrukturautomatisierung und Performance-Optimierung
Fähigkeit, mehrere Projekte als Solution Architect zu koordinieren und unterschiedliche technische sowie fachliche Stakeholder zusammenzubringen
Erfahrung im Versicherungs-, Banking- oder Asset-Management-Umfeld ist von Vorteil
Warum diese Rolle spannend ist
Gestaltung moderner Data- und AI-Plattformen im Enterprise-Umfeld
Architekturverantwortung kombiniert mit Hands-on-Entwicklung
Entwicklung produktiver AI-Lösungen statt ausschließlich experimenteller Proofs of Concept
Arbeit mit modernen Technologien aus dem Azure-, Databricks- und AI-Ökosystem
Möglichkeit, unterschiedliche Modelle, Plattformen und Lösungsansätze technologieoffen zu bewerten
Kombination aus Architektur, AI, Data Engineering, Beratung und technischer Umsetzung
Direkter Einfluss auf unsere Data- und AI-Strategie sowie auf die Weiterentwicklung unserer Lösungen
Möglichkeit zur Weiterentwicklung in eine Lead- oder Führungsrolle
Rahmenbedingungen
Für diese Position sind fließende Deutschkenntnisse auf professionellem Niveau zwingend erforderlich. Zudem muss sich dein Erstwohnsitz in Deutschland befinden – idealerweise im Raum München.
Die Tätigkeit ist zu etwa 95 % remote möglich. Gelegentlich finden Workshops, Projekttermine und Kundengespräche vor Ort statt.
Wir freuen uns auf deine Bewerbung und darauf, dich kennenzulernen.

Work arrangement
No