📈 O FRAMEWORK DE MENSURAÇÃO DE INCREMENTALIDADE
Configuração da North Star
🎯 Defina Um Resultado
Escolha uma métrica ligada ao negócio para tomar decisões (ex.: trials qualificados, receita retida), não um proxy de vaidade.
Uma métrica é melhor que cinco conflitantes⏱️ Defina Janelas de Leitura
Defina exatamente quando os resultados são contabilizados para que os testes sejam comparáveis entre canais e ciclos.
🧮 Torne-a Útil para Decisões
Sua métrica precisa dizer se você deve escalar, manter ou cortar investimento esta semana.
💼 Pronta para o Financeiro
Se o financeiro não se importaria quando ela se move, não é sua métrica North Star.
Escada de Incrementalidade
| Nível | Use quando | Força | Fraqueza |
|---|---|---|---|
| 1. Atribuição | Precisa de direcionamento rápido | Rápida e barata | Menor verdade causal |
| 2. Pré/Pós | Controles limitados, decisão de médio impacto | Calibração rápida | Alto risco de confusão de variáveis |
| 3. Mercados/Coortes Pareados | Precisa de confiança quasi-experimental melhor | Maior comparabilidade | Mais setup e monitoramento |
| 4. Holdout Randomizado | Decisões de alto impacto em orçamento ou estratégia | Melhor evidência causal | Mais difícil operacionalmente |
Como Executar Testes
- Pré-registre tudo — hipótese, KPI, duração, regras de parada e thresholds de decisão.
- Escolha o maior rigor viável — não finja que atribuição é experimentação.
- Proteja a integridade do teste — nada de mudar KPI no meio do teste, nada de espiar e parar antes da hora.
- Leia significância de negócio + estatística — efeitos minúsculos mas significativos geralmente não movem a empresa.
- Realoque por lift marginal — mantenha cobertura onde necessário, corte primeiro o gasto marginal fraco.
O Que Importa vs O Que Não Importa
✅ Isso Importa
- Lift sustentado em janelas pré-registradas
- Resultado sobrevive à replicação em coortes/regiões
- Magnitude muda decisões de orçamento
- Descobertas alimentam premissas de MMM/planejamento
🚫 Isso Não Importa
- Ganhos microscópicos com interpretação pesada
- Relatórios só de vencedores após muitos testes
- Prova apenas por atribuição para defender orçamento
- Picos de significância de um dia
Modos de Falha a Evitar
🧷 P-Hacking
Parar testes assim que a significância aparece ou mudar métricas no meio do caminho infla falsos vencedores.
🔎 Superestimação do Último Clique
Canais de alta intenção (ex.: busca de marca/busca na app store) frequentemente absorvem crédito por demanda gerada em outro lugar.
🪫 Testes Sem Poder Estatístico
Amostras pequenas criam ruído disfarçado de confiança.
🧠 Sem Ciclo de Aprendizado
Se os insights não são documentados e reutilizados, cada trimestre recomeça do zero.
🧭 Regra Operacional
Use atribuição para direcionar, incrementalidade para a verdade e MMM para alocação em escala. Um sistema, três papéis.