📈 O FRAMEWORK DE MENSURAÇÃO DE INCREMENTALIDADE
Incrementalidade é a medida do que mudou por causa do seu marketing — não do que foi creditado a ele. Todo método deste cheat sheet existe para responder a uma pergunta com honestidade: esse resultado teria acontecido de qualquer forma? A escada abaixo os ranqueia pelo rigor com que respondem a ela.
Não confundir com
🎯 Atribuição
A atribuição divide o crédito entre pontos de contato; a incrementalidade pergunta se o resultado teria acontecido de qualquer forma. Use a atribuição para direcionar, a incrementalidade para a verdade.
📉 Pré/pós sem controle
“Vendas subiram depois da campanha” é uma história, não uma mensuração. Sem um contrafactual, você não pode saber o que teria acontecido de qualquer forma — que é exatamente o que os degraus mais altos controlam.
🧮 Modelagem de mix de mídia
MMM aloca gasto em escala; não prova causa. Alimente suas premissas de MMM com achados de incrementalidade — eu adoro experimentos, mas odeio resultados modelados sozinhos.
Configuração North Star
🎯 Defina Um Resultado
Escolha uma métrica ligada ao negócio para decisões (ex.: trials qualificados, receita retida), não um proxy de vaidade.
Uma métrica supera cinco conflitantes⏱️ Defina Janelas de Leitura
Defina exatamente quando os resultados são contados para que os testes sejam comparáveis entre canais e ciclos.
🧮 Torne-a Utilizável para Decisões
Sua métrica precisa dizer se você deve escalar, manter ou cortar gasto esta semana.
💼 Pronta para o Financeiro
Se o financeiro não ligaria quando ela se move, ela não é sua métrica North Star.
Escada de Incrementalidade
| Nível | Use quando | Força | Fraqueza |
|---|---|---|---|
| 1. Atribuição | Precisa de direcionamento rápido | Rápida e barata | Verdade causal mais fraca |
| 2. Pré/Pós | Controles limitados, decisão de médio risco | Calibração rápida | Alto risco de confusão |
| 3. Mercados Pareados/Coortes | Precisa de melhor confiança quase-experimental | Comparabilidade mais forte | Mais configuração e monitoramento |
| 4. Holdout Randomizado | Decisões de orçamento ou estratégia de alto risco | Melhor evidência causal | Mais difícil operacionalmente |
Como Rodar Testes
- Pré-registre tudo — hipótese, KPI, duração, regras de parada e limiares de decisão.
- Escolha o maior rigor viável — não finja que atribuição é experimentação.
- Proteja a integridade do teste — sem mudanças de KPI no meio do teste, sem espiar e parar cedo.
- Leia significância de negócio + estatística — efeitos minúsculos mas significativos geralmente não movem a empresa.
- Realocar pelo lift marginal — mantenha cobertura onde necessário, corte primeiro o gasto marginal fraco.
- Faça back-test desligando — desligue periodicamente todo o marketing em uma região para validar seus modelos. No Facebook cortamos todo o marketing pago na Índia: o MAU encolheu, e restaurar o gasto restaurou o crescimento. Isso provou a metodologia e defendeu o orçamento.
O que Importa vs o que Não Importa
✅ Isso Importa
- Lift sustentado sobre janelas pré-registradas
- Resultado sobrevive à replicação entre coortes/regiões
- Magnitude muda decisões de orçamento
- Achados alimentam premissas de MMM/planejamento
🚫 Isso Não Importa
- Ganhos microscópicos com interpretação pesada
- Relato só de vencedores após muitos testes
- Prova só de atribuição para defesa de orçamento
- Picos de significância de um dia
Modos de Falha a Evitar
🧷 P-Hacking
Parar testes quando a significância aparece ou mudar métricas no meio do caminho infla vitórias falsas.
🔎 Superdeclaração do Último Clique
Canais de alta intenção (ex.: busca de marca/busca na app store) frequentemente absorvem crédito por demanda criada em outro lugar.
Testes Subdimensionados
Amostras pequenas criam ruído disfarçado de confiança.
🧠 Sem Loop de Aprendizado
Se insights não são documentados e reutilizados, cada trimestre zera o aprendizado.
🧭 Regra de Operação
Use atribuição para direcionar, incrementalidade para a verdade, e MMM para alocação em escala. Um sistema, três papéis.
O chão está se movendo
Duas mudanças de regime tornaram tudo neste cheat sheet mais valioso, e espero que venham mais. O App Tracking Transparency da Apple quebrou a atribuição determinística no iOS, e a perda dos cookies de terceiros fez o mesmo na web. A mensuração modelada enfraqueceu em todas as frentes. É exatamente por isso que os experimentos ficaram mais valiosos: quando você não consegue mais rastrear o usuário, você testa o mercado.
Conheça os limites
Combine o rigor com o risco. Um holdout randomizado é o padrão-ouro, mas também é a coisa mais difícil deste cheat sheet de rodar operacionalmente — não douradure uma decisão pequena com um experimento geo de seis semanas. A escada existe para você subir até onde a decisão justifica, não para toda decisão começar no topo.
E lembre-se do que a incrementalidade não pode dizer: se o dinheiro funcionou, sim — mas não o que fazer em seguida. O teste prova o lift; o salto criativo que produz o próximo lift ainda vem de pessoas, não de holdouts.
Uma dúvida honesta: o teste mais rigoroso deste cheat sheet exige deliberadamente não fazer marketing para pessoas que você poderia alcançar. Já vi equipes pularem o holdout que teria economizado milhões porque o teste em si parecia caro — e depois gastarem os milhões mesmo assim. O teste nunca é a parte cara. Não saber é.