CURADOR IA

Buscamos uma pessoa para garantir que soluções de inteligência artificial sejam confiáveis, seguras, éticas e relevantes para o negócio — com respostas corretas, consistentes e adequadas às necessidades dos usuários.
A posição atuará na avaliação de respostas de IA, criação de critérios e conjuntos de testes, curadoria de dados e melhoria de prompts. Também será responsável por testar a segurança dos modelos, monitorar a qualidade em produção e apoiar práticas de governança, documentação e uso responsável da IA.
Procuramos alguém com experiência em IA generativa e modelos de linguagem, conhecimento de prompt engineering e avaliação de modelos, além de familiaridade com RAG, bases de conhecimento e segurança para LLMs. Conhecimentos em análise de dados, SQL e, preferencialmente, Python são diferenciais. Para o nível sênior, é importante ter visão técnica para dialogar com equipes de engenharia e orientar outros profissionais — sem que seja necessário ser cientista de dados ou desenvolvedor avançado
Responsabilidades
Avaliar respostas de IA quanto à precisão, clareza, relevância, completude, segurança e aderência ao contexto do negócio.
Identificar alucinações, vieses, contradições, falhas de compreensão e possíveis exposições de dados.
Definir critérios, métricas e rubricas de avaliação; criar casos de teste, benchmarks e cenários-limite.
Selecionar, revisar e organizar dados e exemplos, garantindo qualidade, diversidade, privacidade e rastreabilidade.
Criar, testar e otimizar prompts, instruções e templates em parceria com as áreas de Produto, Tecnologia e Negócio.
Realizar testes de segurança, como prompt injection e jailbreak, e apoiar atividades de red teaming e testes de regressão.
Monitorar a qualidade da IA em produção, analisar feedbacks e incidentes e recomendar melhorias contínuas.
Documentar avaliações, decisões, limitações e resultados, contribuindo para a governança e o uso responsável da IA.
Orientar profissionais da equipe, revisar avaliações e estabelecer boas práticas e padrões de qualidade.
Requisitos
Experiência com modelos de linguagem e inteligência artificial generativa.
Conhecimento de engenharia de prompts e avaliação humana e/ou automatizada de modelos.
Experiência na criação de datasets de teste, métricas de qualidade ou critérios de avaliação.
Familiaridade com RAG, embeddings, agentes e bases de conhecimento.
Noções de segurança para LLMs, privacidade, LGPD e uso responsável de IA.
Capacidade de analisar dados e interpretar resultados; conhecimento de SQL e, preferencialmente, Python.
Familiaridade com ferramentas de anotação, avaliação ou observabilidade de IA, além de versionamento e documentação.
Para uma posição sênior, capacidade de compreender tecnicamente os sistemas de IA, dialogar com equipes de engenharia e orientar outros profissionais. Não é necessário ser cientista de dados ou desenvolvedor avançado.

Work arrangement
Yes