Engenheiro de Dados - Sênior

Sobre a vaga
O projeto Databricks e MCCD tem como objetivo criar a fundação de dados. A iniciativa busca evoluir de uma execução predominantemente manual para pipelines automatizados, confiáveis e monitorados, usando Databricks para organizar e processar dados desde a ingestão das fontes até a disponibilização de informações e produtos de dados.
A arquitetura deverá permitir a expansão gradual para novos processos, com reutilização de fontes, conectores, regras e domínios de dados. O foco inicial é estabelecer uma base técnica segura, rastreável e sustentável, que não dependa do conhecimento individual para ser operada.
Principais responsabilidades
Desenvolver e automatizar a ingestão das fontes de dados mapeadas na plataforma Databricks.
Persistir, processar e transformar dados com Python e PySpark.
Organizar os dados em arquitetura medalhão, da camada bruta às camadas tratadas e prontas para consumo.
Criar e manter pipelines orquestrados, monitorados e preparados para lidar com falhas e reprocessamentos.
Implementar logs, alertas, validações de qualidade e reconciliações de dados.
Contribuir para a governança de acesso, a segregação de ambientes e o tratamento adequado das informações.
Assegurar a rastreabilidade entre as fontes, as transformações e os dados disponibilizados.
Documentar fontes, layouts, regras, linhagem e procedimentos técnicos e operacionais.
Identificar oportunidades para reutilizar fontes e dados comuns entre processos, evitando ingestões e tratamentos duplicados.
Acompanhar a observabilidade e os custos da plataforma, apoiando sua evolução sustentável.
Trabalhar com as áreas envolvidas para priorizar a expansão da solução conforme o valor para o negócio, a maturidade do mapeamento e as dependências técnicas.
Requisitos
Experiência em engenharia de dados e desenvolvimento de pipelines.
Experiência com Databricks e PySpark.
Conhecimento de Python e Apache Spark.
Conhecimento de arquitetura medalhão e organização de dados em camadas.
Experiência com ingestão, persistência, transformação e disponibilização de dados.
Conhecimento de orquestração, monitoramento, logs e tratamento de falhas em pipelines.
Vivência com práticas de qualidade, validação e reconciliação de dados.
Conhecimento de governança, controle de acesso e segurança de dados.
Capacidade de produzir documentação técnica e operacional clara.
Experiência na construção ou evolução de data lakes ou plataformas analíticas em Databricks.
Gestão de features
Apresentações coorporativas
Gestão de roadmap técnico
Diferenciais
Familiaridade com Delta Lake e recursos relacionados do ecossistema Databricks.
Experiência com observabilidade e otimização de custos em plataformas de dados.
Familiaridade com práticas de CI/CD e gestão de ambientes de dados.
Cultura na BRQ
Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.
Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/
Vaga c6effe
About The Company
A BRQ apoia empresas a evoluírem o digital que sustenta seus negócios, com um propósito claro: transformar problemas complexos em progresso. Combinamos especialistas, ferramentas e inteligência artificial para entregar com método e consistência, atuando em modernização de legado e dados, GenAI, e construção de produtos e experiências digitais.
Com mais de 33 anos e mais de 2.500 profissionais, estamos entre as maiores empresas de tecnologia do Brasil e atuamos em projetos de alta complexidade e escala. Somos reconhecidos como líderes em GenAI e inovação para grandes empresas no estudo ISG Provider Lens™.
Aqui, nossa cultura tem nome: BRQ Way. São 3 pilares: Carreira e desenvolvimento, Saúde e bem-estar e Comunicação e conexão. Diversidade e inclusão fazem parte do nosso dia a dia, com grupos de afinidade como Colorful Roar, Black Roar e Girls Roar.
Benefícios: Plano de Saúde; Plano Odontológico; Seguro de Vida; Vale Refeição; Vale Alimentação; Horário Flexível; Home Office; Gympass, Telemedicina, Telenutrição, Canal de suporte emocional 24h e muito mais.

Work arrangement
Yes