Senior Data Engineer

Nuestro equipo de Datos cuenta con experiencia en ingeniería, análisis, arquitectura, modelado, machine learning, inteligencia artificial y ciencia de datos. Esta disciplina es responsable de transformar datos sin procesar en información accionable, construir infraestructuras de datos robustas y facilitar la toma de decisiones basada en datos, así como impulsar la innovación mediante analítica avanzada y modelos predictivos.
Como Data Engineer en Endava yo voy a:
Responsabilidades:
Trabajar en conjunto con científicos y analistas de datos para comprender las necesidades de información y crear flujos de datos eficientes.
Diseñar soluciones, implementar y mantener pipelines de datos para la ingesta, procesamiento y transformación de información utilizando servicios cloud y otras tecnologías.
Crear y mantener soluciones de almacenamiento de datos, incluyendo Azure SQL Database, Azure Data Lake y Azure Blob Storage.
Crear y mantener procesos ETL (Extract, Transform, Load) utilizando Azure Data Factory o tecnologías equivalentes.
Implementar procedimientos de validación y limpieza de datos para garantizar su calidad, integridad y confiabilidad.
Mejorar la escalabilidad, eficiencia y optimización de costos de los pipelines de datos.
Monitorear y resolver problemas relacionados con los pipelines, garantizando la consistencia y disponibilidad de los datos.
Automatizar tareas y desplegar código con estándares de producción, incluyendo pruebas unitarias, integración continua, control de versiones y otras buenas prácticas.
Dominio de Python y SQL, con experiencia en lenguajes de scripting orientados al procesamiento de datos.
Experiencia con bases de datos relacionales y NoSQL.
Conocimiento de buenas prácticas y principios de diseño de datos, incluyendo conceptos como Medallion, Kimball y Star Schema, así como de Data Warehousing y modelado de datos.
Sólida comprensión de procesos ETL/ELT.
Experiencia con técnicas avanzadas de transformación y optimización de datos, incluyendo Spark (PySpark/Scala).
Experiencia con servicios de Azure, AWS o GCP
Dominio de herramientas como Data Build Tool (dbt) y Datadog.
Experiencia con herramientas de monitoreo y observabilidad de datos.
Experiencia relevante con arquitecturas orientadas a eventos (Event-Driven Architecture).
Buen conocimiento y comprensión de metodologías y formas de trabajo Agile.

Employment type
Full-time

Work arrangement
Hybrid