Engenheiro de Dados

Engenheiro de Dados - Databricks
Remoto
PJ
Estamos em busca de um Engenheiro de Plataforma Databricks altamente qualificado para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, dando suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.
Essa posição trabalhará em estreita colaboração com um cliente baseado nos EUA, portanto são exigidas fortes habilidades de comunicação e inglês fluente. O candidato ideal combina expertise técnica profunda em Databricks com experiência prática em plataformas de nuvem, Infraestrutura como Código, CI/CD, segurança e otimização de custos.
Principais Responsabilidades
Projetar, implementar e gerenciar a plataforma Databricks para dar suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.
Garantir que o ambiente Databricks seja escalável, confiável, seguro e otimizado em desempenho e custo.
Arquitetar e gerenciar ambientes Databricks em Desenvolvimento, Homologação (Staging) e Produção.
Utilizar recursos nativos do Databricks, incluindo Delta Live Tables (DLT), Workflows, Unity Catalog e outras funcionalidades da plataforma.
Aplicar boas práticas de arquitetura, governança, segurança, controle de acesso e gestão de dados no Databricks.
Monitorar recursos de computação e desempenho da plataforma Databricks, identificando oportunidades de otimização e redução de custos.
Implementar e manter práticas de Infraestrutura como Código (IaC) para provisionamento e gestão de recursos de nuvem e Databricks.
Utilizar o GitHub para controle de versão e apoiar os fluxos de desenvolvimento e implantação.
Colaborar com engenheiros de dados, cientistas de dados, equipes de MLOps e demais stakeholders técnicos para viabilizar desenvolvimento e implantação eficientes.
Solucionar problemas de plataforma, infraestrutura, computação, segurança e desempenho.
Avaliar recursos e limitações do Databricks e recomendar soluções adequadas às necessidades de negócio e técnicas.
Estabelecer e manter boas práticas de confiabilidade, segurança, escalabilidade e eficiência operacional da plataforma.
Qualificações Necessárias
Experiência comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos.
Conhecimento profundo da arquitetura, recursos, capacidades e limitações do Databricks.
Forte experiência prática com funcionalidades nativas do Databricks, especialmente:
Delta Live Tables (DLT)
Databricks Workflows
Unity Catalog
Gestão de computação e clusters do Databricks
Experiência gerenciando ambientes de Desenvolvimento, Homologação e Produção e seus respectivos ciclos de implantação.
Forte experiência com Infraestrutura como Código (IaC).
Experiência com GitHub e boas práticas de controle de versão.
Sólido conhecimento de infraestrutura em nuvem, com experiência em AWS fortemente desejável.
Experiência com monitoramento, segurança, governança e gestão de acesso em ambientes Databricks e nuvem.
Experiência em otimização de recursos de computação, tanto em custo quanto em desempenho.
Fortes habilidades de solução de problemas.
Capacidade de trabalhar efetivamente com equipes multifuncionais e distribuídas.
Inglês fluente, escrito e falado, com capacidade de se comunicar diretamente com cliente baseado nos EUA e participar ativamente de reuniões e discussões técnicas.
Qualificações Desejáveis
Experiência com MLOps e cargas de trabalho de machine learning no Databricks.
Experiência com pipelines de CI/CD e implantações automatizadas no Databricks.
Experiência com serviços AWS e sua integração com o Databricks.
Conhecimento de boas práticas de segurança e governança em nuvem.
Experiência implementando práticas de gestão de custos e FinOps para Databricks.
Certificações Databricks são um diferencial.
Modelo de Atuação
Cliente: empresa baseada nos EUA
Ambiente de trabalho: equipe internacional/distribuída
Idioma: inglês fluente obrigatório

Work arrangement
No