Caso real: o teste A/B que venceu e não venceu
Um experimento com +18% de conversão, investigado até o fim — e as quatro coisas que o tornavam inválido antes de qualquer estatística.
A variante B converteu 18% a mais que a A. O time queria subir para 100% da base na segunda-feira. A análise levou duas horas e o teste não subiu.
- Checar validade do experimento antes de checar significância.
- Reconhecer contaminação, parada antecipada e desbalanceamento.
- Separar "não deu diferença" de "não conseguimos medir".
Os números que chegaram
| Variante | Visitantes | Conversões | Taxa |
|---|---|---|---|
| A (controle) | 12.480 | 387 | 3,10% |
| B (nova página) | 11.902 | 436 | 3,66% |
| Diferença | +18,1% |
A pergunta que quase todo mundo faz primeiro — "isso é estatisticamente significativo?" — é a pergunta errada para começar. Significância mede se a diferença observada seria improvável por acaso, supondo que o experimento seja válido. Se a validade cair, a significância não significa nada.
A ordem correta é: validade primeiro, estatística depois.
Não calcule significância ainda. Audite a VALIDADE deste experimento. Resultado: A = 387/12.480 (3,10%) · B = 436/11.902 (3,66%) Período: [datas] · Divisão: [como o usuário era sorteado] O que mudou em B: [descrição] Verifique, um a um: 1) Desbalanceamento da amostra — os tamanhos deveriam ser iguais? Se diferem, o que isso indica? 2) Contaminação — o mesmo usuário pode ter visto as duas versões? 3) Parada antecipada — o teste foi encerrado ao ver o resultado? 4) Efeito de novidade / sazonalidade no período 5) A métrica medida é a que importa, ou só a primeira do funil? 6) Instrumentação — as duas variantes registram conversão do mesmo jeito? Para cada item: como eu verifico isso com os dados que tenho. Só depois de tudo verde, calcule significância.
O que a auditoria encontrou
| Verificação | Resultado |
|---|---|
| Desbalanceamento | ⚠ 12.480 × 11.902 — 4,6% de diferença numa divisão 50/50. Improvável por acaso com esse volume; indica perda de sessões em um dos lados |
| Contaminação | ⚠ divisão por sessão, não por usuário — quem voltou podia cair na outra variante |
| Parada antecipada | ✗ o teste foi olhado diariamente e encerrado no dia em que B abriu vantagem |
| Sazonalidade | ⚠ o período incluía uma promoção que começou no meio |
| Métrica | ⚠ media clique no botão, não pedido concluído |
| Instrumentação | ✗ B tinha um evento de conversão a mais, disparado no scroll |
Quatro alertas e dois problemas graves. A significância estatística desse resultado é irrelevante — o experimento não mede o que diz medir.
O que cada problema faz
Parada antecipada é o mais sério e o menos conhecido. Olhar o resultado todo dia e parar quando dá diferença é matematicamente equivalente a rodar dezenas de testes e reportar o melhor. Com essa prática, a chance de achar um "vencedor" inexistente sobe muito acima dos 5% nominais. O teste precisa de tamanho de amostra definido antes e ser lido no fim.
Instrumentação assimétrica é o mais banal e o mais frequente: se a variante B dispara conversão em uma situação a mais, ela ganha por construção. Nenhuma estatística corrige isso.
Divisão por sessão faz o mesmo usuário aparecer nos dois grupos, o que dilui a diferença real e quebra a independência que os testes assumem.
A nova página aumenta a conversão em 18%. Recomendação: subir para 100% da base.
Uma mudança de produto baseada num experimento que media outra coisa.
O teste não é conclusivo. Encontramos 2 problemas que invalidam a comparação: 1. A variante B registra conversão numa situação a mais (scroll), então parte da diferença é instrumentação, não comportamento. 2. O teste foi encerrado ao ver a vantagem, o que infla a chance de resultado falso. O que dá para afirmar hoje: nada sobre o efeito da nova página. Para medir de verdade: igualar o evento de conversão, dividir por usuário (não por sessão), fixar amostra de N antes e ler só no fim. Com o tráfego atual, 12 dias. Posso configurar hoje.
O time não tomou uma decisão errada e ganhou um experimento que vai responder a pergunta em duas semanas.
A diferença: A estrutura da comunicação: o que encontrei + o que isso invalida + o que dá para afirmar + o caminho para responder. Nunca só "está errado".
Cole duas taxas e peça um teste de proporções: você recebe o cálculo correto, bem explicado, com p-valor e intervalo de confiança. Nada nessa resposta questiona se o experimento era válido — porque você não perguntou isso.
A conta está certa. A conclusão está errada. E o resultado sai com toda a autoridade de uma análise estatística formal.
Como perceber: Você recebeu um p-valor sem ninguém ter perguntado como os grupos foram formados.
- Validade auditada antes de qualquer cálculo de significância.
- Tamanho de amostra definido antes do início.
- Divisão por usuário, não por sessão.
- As variantes registram conversão exatamente do mesmo jeito.
- A métrica é a que importa para o negócio, não a mais fácil de medir.
- Nenhuma decisão foi tomada sobre experimento inválido.
- Significância só significa alguma coisa depois que a validade do experimento foi verificada.
Comentários e dúvidas
Inscreva-se grátis para comentar, tirar dúvidas, marcar seu progresso e emitir o certificado ao fim do curso.
Inscrever-se grátis com GoogleAinda não há comentários nesta aula.