Caso real: o criativo que venceu e não venceu
Um teste com resultado claro, e as quatro verificações que mostraram que ele não media o que dizia medir.
O criativo B teve CTR 34% maior. A decisão de escalar B para toda a verba estava tomada na segunda-feira. A análise levou uma tarde e o teste foi refeito.
- Auditar validade antes de olhar resultado.
- Reconhecer métrica intermediária tratada como resultado.
- Separar efeito de novidade de efeito real.
| Criativo | Impressões | Cliques | CTR | Leads | Custo por lead |
|---|---|---|---|---|---|
| A | 84.200 | 1.010 | 1,20% | 61 | R$ 92 |
| B | 81.500 | 1.310 | 1,61% | 48 | R$ 118 |
B ganha em CTR por larga margem e perde em custo por lead. Quem olha só a primeira métrica escala o criativo errado.
O primeiro achado é o mais comum de todos: CTR é métrica intermediária. Um criativo que promete demais ou é ambíguo atrai mais cliques e menos gente qualificada. Otimizar CTR sem olhar o que vem depois é otimizar para o clique de quem não vai converter.
No caso, B dizia "reduza seus custos" sem qualificar o público; A dizia "para transportadoras que abriram CD". A menos específica atraiu mais gente — e mais gente errada.
As outras três verificações
| Verificação | Resultado |
|---|---|
| Distribuição de verba entre os criativos | ⚠ o algoritmo da plataforma realocou verba para B a partir do dia 3, então B rodou em horários e públicos diferentes |
| Período | ⚠ 6 dias, incluindo um feriado — e o efeito de novidade ainda operava |
| Consistência de instrumentação | ✗ B apontava para uma landing com formulário mais curto |
| Volume por variação | ⚠ 48 e 61 conversões: diferença dentro da faixa de ruído |
O terceiro item invalida tudo: os dois criativos levavam a páginas diferentes. Não era um teste de criativo — era um teste de criativo e landing ao mesmo tempo.
B tem CTR 34% maior. Escalar B para 100% da verba.
Escalaria o criativo com pior custo por lead, baseado numa comparação em que a landing também mudou.
O teste não é conclusivo: 1. Os criativos apontavam para landings diferentes — não dá para separar o efeito de um do outro. 2. A verba foi realocada pelo algoritmo a partir do dia 3, então os públicos não são comparáveis. 3. O volume de conversões está na faixa de ruído. O que dá para dizer hoje: nada sobre o criativo. O sinal que MERECE atenção: A tem custo por lead 22% menor, apesar do CTR pior. Isso sugere que especificar o público qualifica — e é essa a hipótese a testar. Novo teste: mesma landing, verba fixa por criativo, 14 dias.
Nenhuma decisão errada foi tomada, e a hipótese interessante ficou explícita para o teste seguinte.
A diferença: A estrutura da comunicação é a mesma de qualquer análise: o que invalida + o que dá para afirmar + o caminho para responder.
Ferramentas de anúncio realocam verba automaticamente para o que performa melhor na métrica que elas otimizam — em geral clique ou impressão barata. Isso é bom para a campanha e destrói o teste: as variações param de receber tratamento comparável.
Para testar de verdade, é preciso fixar a distribuição de verba, ou aceitar que o resultado é sobre desempenho da campanha, não sobre a diferença entre criativos.
Como perceber: Uma variação recebeu três vezes mais impressões que a outra e ninguém decidiu isso.
CTR é mais rápido de medir que lead, que é mais rápido que oportunidade, que é mais rápido que venda. Quanto mais cedo a métrica, menos ela diz — e mais tentadora ela é.
A regra prática: otimize pela métrica mais avançada que tenha volume suficiente. Se lead tem volume, não otimize por clique.
- A validade foi auditada antes do resultado.
- As variações levam ao mesmo destino.
- A distribuição de verba foi fixada.
- A métrica de decisão é a mais avançada com volume.
- O volume por variação está fora da faixa de ruído.
- CTR alto com custo por lead pior significa que o criativo atraiu mais gente errada.
Comentários e dúvidas
Inscreva-se grátis para comentar, tirar dúvidas, marcar seu progresso e emitir o certificado ao fim do curso.
Inscrever-se grátis com GoogleAinda não há comentários nesta aula.