Laboratório: revisão de análise por categorias de risco
▶
Mão na massa
8 min de leitura
40 min de prática
Você leva: Checklist de revisão de análise calibrado
Submeter uma análise sua a sete categorias de revisão e calibrar onde a IA acerta e onde só uma pessoa pega.
Analista costuma revisar o próprio trabalho, sozinho, com pressa. A revisão assistida por categoria amplia o alcance — desde que você saiba onde ela erra.
Revisão em sete categorias
Revise esta análise como um analista sênior cético. Pergunta que ela responde: [uma frase] Decisão que depende dela: [qual] Contexto dos dados: [cole o dicionário] Revise nesta ordem, uma seção por categoria: 1. Definição — a análise responde à pergunta que foi feita? 2. Universo — as linhas incluídas/excluídas estão corretas? Filtros implícitos? 3. Junções e agregação — alguma junção multiplica? Média de médias? 4. Qualidade do dado — nulos, extremos, duplicatas tratados e declarados? 5. Estatística — a medida de centro cabe na distribuição? Grupos comparáveis? 6. Interpretação — a conclusão vai além do que o dado sustenta? Alguma palavra causal sem controle? 7. Comunicação — o gráfico e o texto distorcem a magnitude? Para CADA achado: - trecho exato (linha do SQL / célula do notebook / frase do relatório) - cenário concreto: qual número específico está errado e em que direção - severidade: bloqueia a conclusão / ajusta a conclusão / melhoria - como verificar Se você não conseguir dizer QUAL número muda e para que lado, não reporte o achado. Análise: [cole SQL, tratamento e o texto da conclusão]
Como na revisão de código, a última regra é o filtro: achado sem número que muda é ruído.
Mão na massa40 min
Calibrar a revisão assistida no seu tipo de análise e produzir um checklist que reflita os erros que você realmente comete.Use uma análise já entregue — de preferência uma que gerou dúvida ou retrabalho depois. Assim você tem gabarito parcial.
- Escolha a análise e sanitize (nada de dado pessoal — módulo 1, aula 5).
- Rode o prompt das sete categorias.
- Classifique cada achado: verdadeiro / falso positivo / verdadeiro mas irrelevante.
- Verifique os verdadeiros rodando a consulta — não aceite pelo argumento.
- Anote o que você já sabia que estava errado e a revisão não pegou.
- Anote em quais categorias o ruído foi maior no seu caso.
- Escreva o checklist calibrado, com no máximo 15 itens.
Deu certo quando
- Todo achado foi classificado.
- Os verdadeiros foram confirmados rodando, não pelo argumento.
- Existe uma lista do que só você pegou.
- O checklist final cabe em uma página.
Se travar: Se quase tudo voltou como falso positivo, provavelmente faltou colar o dicionário de dados — as categorias 2 e 4 dependem inteiramente de saber o que as colunas significam.
Você leva daquiChecklist de revisão de análise calibrado
Os erros que o seu time comete de verdade, não os de um livro.
# Checklist de revisão de análise — [time] Calibrado em [data] sobre [n] análises ## Sempre verificar - [ ] A pergunta respondida é a que foi feita - [ ] Filtros implícitos do dicionário aplicados (status, contas internas) - [ ] Contagem antes/depois de cada JOIN - [ ] Nenhuma média de médias - [ ] Média acompanhada de mediana quando a distribuição é torta - [ ] Soma dos segmentos = total - [ ] Camada 1 bate com fonte externa - [ ] Nulos medidos e declarados - [ ] Nenhuma palavra causal sem grupo de controle ## Só pessoa pega (nossa experiência) - [ ] O número faz sentido para quem conhece a operação - [ ] A definição bate com a que o solicitante tinha na cabeça - [ ] O recorte não foi escolhido depois de ver o resultado - [ ] [erro específico que a IA não pegou nos nossos testes] ## Onde a IA gera ruído aqui - [ex: sugere remover outlier sem saber que são clientes corporativos] - [ex: recomenda imputar nulo por média em coluna onde nulo significa "não se aplica"] ## Regra Nenhuma análise é publicada sem a camada 1 batendo com uma fonte externa.
Onde guardar: No repositório de análises, como CONTRIBUTING ou template de revisão.
Em uma frase
- Achado que não diz qual número muda e para que lado não é achado — é ruído.
Comentários e dúvidas
Inscreva-se grátis para comentar, tirar dúvidas, marcar seu progresso e emitir o certificado ao fim do curso.
Inscrever-se grátis com GoogleAinda não há comentários nesta aula.