DevOps & Data Engineer – Full Remote

DevOps & Data Engineer – Full Remote
Dacomat ricerca un DevOps & Data Engineer da inserire stabilmente all’interno di un team dedicato alla gestione di piattaforme cloud, pipeline dati e soluzioni di Machine Learning.
La figura avrà un ruolo operativo e trasversale tra DevOps, Data Engineering e MLOps.
Si occuperà principalmente dell’infrastruttura e dei servizi sui quali vengono eseguite le data pipeline, supportando il team Data Science nella costruzione, validazione e messa in produzione dei modelli di Machine Learning.
Cerchiamo un professionista autonomo, capace di intervenire direttamente sulle pipeline CI/CD, sull’infrastruttura AWS e sui componenti applicativi sviluppati in Python
Principali attività
Gestione e manutenzione dell’infrastruttura cloud utilizzata dalle data pipeline.
Analisi, gestione ed evoluzione di pipeline CI/CD complesse tramite GitLab.
Automazione del provisioning infrastrutturale attraverso Terraform, OpenTofu e AWS CloudFormation.
Sviluppo e manutenzione di componenti object-oriented in Python.
Realizzazione e manutenzione di test automatici.
Gestione e troubleshooting di pipeline ETL e processi di elaborazione dati.
Utilizzo di SQL per interrogazione, verifica e trasformazione dei dati.
Configurazione e gestione dei principali servizi AWS impiegati dalla piattaforma.
Supporto al team Data Science nella costruzione e validazione dei modelli di Machine Learning.
Automazione del deployment dei modelli in ambiente di produzione.
Implementazione di controlli e processi di Data Quality.
Monitoraggio di applicazioni, pipeline e infrastrutture.
Analisi e risoluzione di problematiche applicative e infrastrutturali.
Collaborazione con Data Engineer, Data Scientist e team applicativi.
Competenze richieste
Esperienza concreta nella gestione di pipeline complesse con GitLab CI/CD.
Esperienza con strumenti Infrastructure as Code, in particolare Terraform oppure OpenTofu.
Conoscenza di AWS CloudFormation.
Buona autonomia nello sviluppo object-oriented in Python.
Esperienza nella scrittura di test automatici, preferibilmente con pytest o unittest.
Buona conoscenza di SQL.
Conoscenza dei principali processi e delle architetture ETL.
Esperienza sulla piattaforma AWS.
Conoscenza di IAM e dei principali meccanismi di gestione di ruoli, policy e autorizzazioni.
Esperienza con servizi AWS come Lambda, Athena, Glue, RDS, EC2, S3, MWAA/Airflow e Step Functions.
Conoscenza di processi e framework di Data Quality, preferibilmente Great Expectations.
Conoscenza del ciclo di vita dei modelli di Machine Learning.
Conoscenza di Kubernetes.
Conoscenza di OpenTelemetry.
Profilo ricercato
La figura ideale possiede un’esperienza equilibrata tra DevOps e Data Engineering. Non cerchiamo un Data Engineer esclusivamente focalizzato sullo sviluppo delle pipeline né un DevOps privo di esperienza con dati, SQL e Python.
La persona dovrà essere in grado di comprendere l’intero processo: dall’infrastruttura cloud e dall’automazione CI/CD fino all’esecuzione delle pipeline dati e al deployment dei modelli di Machine Learning.

Work arrangement
Yes