Engenheiro de Dados

O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.
É um perfil orientado a arquitetura, escalabilidade e performance.
Responsabilidades
Construir pipelines de ingestão batch e streaming
Estruturar data lakes e data warehouses
Criar datasets otimizados para ML
Implementar pipelines de embeddings
Construir indexação vetorial para RAG
Garantir qualidade, governança e segurança de dados
Otimizar custo de armazenamento e processamento
Trabalhar com AI Engineers para estruturar feature stores
Requisitos
Linguagens:
Python
SQL avançado
Scala (opcional)
Orquestração & Transformação
Apache Airflow
dbt
Prefect
Processamento de Dados
Spark
Pandas
PySpark
Armazenamento
Data Lakes (S3, GCS, Azure Blob)
Data Warehouses (BigQuery, Snowflake, Redshift)
Bancos NoSQL
Bancos vetoriais (Pinecone, Weaviate, FAISS)
Streaming
Kafka
Pub/Sub
Infraestrutura
Docker
Kubernetes
Cloud (AWS, GCP ou Azure)
🧠 Hard Skills
Modelagem de dados
ETL / ELT
Processamento distribuído
SQL avançado
Arquitetura de dados escalável
Experiência com dados não estruturados (texto, logs, PDF)
Conceitos de DataOps
Versionamento e qualidade de dados
Benefícios
🍝 Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood;
🏥 Convênio Médico SulAmérica (100% custeado pela empresa);
🦷 Plano Odontológico MetLife;
🐶 Plano de saúde Pet;
🏥 Seguro de vida;
🤸🏼‍♂️ Totalpass e Wellhub para manter as atividades físicas a qualquer hora e lugar;
🎂 Birthday Day Off para curtir no seu aniversário como quiser;
🥳 Parceria com o Sesc;
✈️ Parceria com a OnHappy (descontos em hotéis e passagens);
📖 Parceria com instituições de ensino;
👶🏼 Reembolso creche;
💻 Equipamentos de trabalho (Pode parecer óbvio, mas achamos importante reforçar);
📚 Cultura de feedback e desenvolvimento;
🤩 Ambiente dinâmico e com grandes oportunidades de crescimento;
💵 Empréstimo consignado com as menores taxas de juros;
💰 Remuneração variável em reconhecimento de desempenho, performance e alinhamento de cultura.

Work arrangement
Yes