A média que mente e a correlação que não é causa
Erros estatísticos que a IA reproduz com fluência: média em distribuição torta, paradoxo de Simpson, sobrevivência e p-hacking involuntário.
Aqui o assistente é convincente de um jeito específico: ele conhece os nomes corretos, cita os testes certos e explica os conceitos direito. E ainda assim aplica a ferramenta errada aos seus dados, porque ele não viu a distribuição.
- Escolher medida de centro a partir da forma da distribuição.
- Reconhecer agregação que inverte a conclusão.
- Identificar viés de sobrevivência e comparação sem grupo de controle.
1. Média em distribuição assimétrica
Ticket médio: R$ 1.284,90
Sugere que o cliente típico gasta cerca de R$ 1.285. A área comercial monta a meta em cima disso.
Mediana: R$ 340,00 Média: R$ 1.284,90 P90: R$ 2.100,00 Máximo: R$ 890.000,00 (1 pedido corporativo) 68% dos pedidos ficam abaixo de R$ 500.
O cliente típico gasta R$ 340. A média foi puxada por um punhado de pedidos corporativos que são outro negócio, não outra faixa do mesmo.
A diferença: Em vendas, receita, tempo de resposta e uso de produto, a distribuição quase nunca é simétrica. Média sem mediana ao lado é uma escolha, não um padrão — e costuma ser a escolha errada.
Peça sempre média e mediana juntas. Se as duas estão próximas, a média serve. Se estão longe, a média está descrevendo uma cauda, não o centro — e aí a mediana com os percentis conta a história.
2. Agregação que inverte a conclusão
| Canal | Plano Básico | Plano Pro | Total |
|---|---|---|---|
| Campanha A | 8% (80/1000) | 30% (30/100) | 10,0% (110/1100) |
| Campanha B | 7% (7/100) | 28% (280/1000) | 26,1% (287/1100) |
A campanha A converte melhor nos DOIS planos (8% > 7% e 30% > 28%). No total, B parece muito melhor — só porque B recebeu tráfego concentrado no plano que converte mais. Agregar apagou a informação.
Isso não é um caso raro de livro: acontece toda vez que os grupos comparados têm composições diferentes. E é exatamente o tipo de coisa que um assistente não detecta, porque ele recebeu o número agregado e respondeu sobre o número agregado.
A defesa é sempre a mesma: antes de comparar dois grupos, pergunte se eles são comparáveis. Quebre por um segmento relevante e veja se a conclusão sobrevive.
3. Viés de sobrevivência
"Nossos clientes mais engajados renovam 3x mais" — medido só entre quem ficou tempo suficiente para engajar. "As contas que usam o recurso X têm churn menor" — mas quem estava saindo nunca chegou a configurar o recurso X.
A pergunta que expõe isso: quem saiu da base antes de virar linha na minha tabela? Se a resposta for "os que falharam", a conclusão está medindo a própria seleção.
4. Testar até dar significativo
Peça a um assistente para "ver se há diferença significativa" entre grupos e ele testa. Peça para quebrar por região, por plano, por canal e por mês, e ele testa tudo — e alguma comparação vai dar significativa por acaso. Com vinte comparações a 5%, esperar um falso positivo é o comportamento normal, não o azar.
A correção não é parar de explorar: é declarar antes o que você foi testar, e tratar o que apareceu na exploração como hipótese para o próximo período, não como achado.
Analise estes dados e responda: [pergunta]. Dados: [cole a tabela agregada ou o resumo estatístico] Como foram coletados: [período, filtro, o que foi excluído] Antes de concluir qualquer coisa, responda: 1) A distribuição é assimétrica? Média e mediana estão longe? 2) Os grupos que estou comparando têm composição parecida? Se não, a conclusão sobrevive quebrando por [segmento]? 3) Quem saiu da base antes de virar linha aqui? 4) Quantas comparações eu fiz até chegar neste resultado? 5) Que explicação alternativa produziria o mesmo padrão? Se algum item acima não puder ser respondido com os dados que dei, diga o que falta em vez de assumir.
A pergunta 5 é a mais produtiva de todas: obriga a listar explicações concorrentes antes de fechar a narrativa.
Se você escrever "acho que o churn subiu por causa do aumento de preço, confere?", vem uma análise que sustenta o aumento de preço. Os dados não mudaram; o enquadramento da pergunta mudou.
Formule sempre pedindo explicações concorrentes: "liste três explicações possíveis para o churn ter subido em março, e o que eu poderia checar para distinguir entre elas".
Como perceber: A análise que você recebeu confirma exatamente o que você já achava, e não menciona nenhuma alternativa.
- Média veio acompanhada de mediana e percentis.
- A comparação entre grupos foi checada quebrando por segmento.
- Sei quem foi excluído da base antes da análise.
- O número de comparações feitas está registrado.
- Existem pelo menos duas explicações na mesa, não uma.
- Antes de comparar dois grupos, pergunte se eles são comparáveis — a agregação esconde composição.
Comentários e dúvidas
Inscreva-se grátis para comentar, tirar dúvidas, marcar seu progresso e emitir o certificado ao fim do curso.
Inscrever-se grátis com GoogleAinda não há comentários nesta aula.