Especialista em Ciência de Dados

Especialista em Ciência de Dados — Avaliação de Agentes Conversacionais
Buscamos uma pessoa para atuar na avaliação e evolução da qualidade de um agente conversacional, conectando métricas de inteligência artificial, experiência do usuário e resultados de negócio.
Principais responsabilidades
Evoluir as métricas de LLM-as-a-judge, refinando prompts avaliadores, validando notas com avaliações humanas e definindo limites de qualidade por métrica.
Analisar conversas com baixa pontuação para identificar oportunidades de melhoria.
Construir um score consolidado de qualidade do agente, integrando métricas de avaliação e indicadores de negócio.
Desenvolver métricas de produto e experiência do usuário, considerando os indicadores existentes no bot legado.
Estruturar camadas de dados e pipelines analíticos no ambiente Google, integrando bases de Salesforce, assinatura, cancelamento e cobrança.
Comparar versões do agente, identificar regressões de qualidade e recomendar melhorias ao time de produto.
Requisitos obrigatórios
Experiência prática com LLMs, engenharia de prompts, avaliação de modelos generativos e LLM-as-a-judge com calibração contra avaliações humanas. Este é o requisito indispensável da posição.
Experiência com NLP aplicado a conversas, como chatbots, atendimento e análise de diálogos e intenções.
Python e SQL avançados.
Experiência na construção de métricas e scores de qualidade utilizados por produto.
Experiência com estruturação de dados em camadas e pipelines analíticos.
Visão da jornada do cliente e capacidade de transformar análises em recomendações para Product Owners, negócio e liderança.
Diferenciais
Conhecimento em Salesforce Agentforce/Einstein ou outras plataformas de agentes conversacionais.
Vivência com ferramentas de avaliação e observabilidade de LLMs, como LangSmith, Langfuse, DeepEval, RAGAS, OpenLayer, Vertex AI Evaluation ou soluções próprias. Valorizamos a prática de avaliação, independentemente da ferramenta.
Conhecimento em Google Cloud: BigQuery, Dataform e Vertex AI.
Experiência com Looker Studio ou outras ferramentas de dashboards.
Conhecimento em estatística experimental: testes A/B, significância estatística e concordância entre avaliadores.
Atuação em produtos digitais B2C de alto volume, como streaming, telecomunicações ou varejo.
Formação em áreas de Exatas, como Matemática, Estatística ou Computação.
Cultura na BRQ
Chamamos de BRQ Way o nosso jeito de cuidar das pessoas, com iniciativas de carreira e desenvolvimento, saúde e bem-estar, e comunicação e conexão. Trabalhamos com flexibilidade de acordo com o contexto do projeto (anywhere office, híbrido ou presencial) e investimos em desenvolvimento contínuo com BRQ Academy, mentoria, incentivo a certificações e programas de idiomas, entre outras frentes.
Diversidade, inclusão e liberdade fazem parte do nosso dia a dia. Incentivamos a candidatura de pessoas com perfis, trajetórias e realidades diversas, além de contarmos com oportunidades afirmativas para pessoas com deficiência e mulheres. Também temos três Grupos de Afinidade, chamados de Roars, que criam espaços de troca e impulsionam iniciativas inclusivas na empresa. https://www.brq.com/carreiras/
Ref: RESV 204e
About The Company
A BRQ apoia empresas a evoluírem o digital que sustenta seus negócios, com um propósito claro: transformar problemas complexos em progresso. Combinamos especialistas, ferramentas e inteligência artificial para entregar com método e consistência, atuando em modernização de legado e dados, GenAI, e construção de produtos e experiências digitais.
Com mais de 33 anos e mais de 2.500 profissionais, estamos entre as maiores empresas de tecnologia do Brasil e atuamos em projetos de alta complexidade e escala. Somos reconhecidos como líderes em GenAI e inovação para grandes empresas no estudo ISG Provider Lens™.
Aqui, nossa cultura tem nome: BRQ Way. São 3 pilares: Carreira e desenvolvimento, Saúde e bem-estar e Comunicação e conexão. Diversidade e inclusão fazem parte do nosso dia a dia, com grupos de afinidade como Colorful Roar, Black Roar e Girls Roar.
Benefícios: Plano de Saúde; Plano Odontológico; Seguro de Vida; Vale Refeição; Vale Alimentação; Horário Flexível; Home Office; Gympass, Telemedicina, Telenutrição, Canal de suporte emocional 24h e muito mais.

Work arrangement
Yes