Rodar teste A/B com regra no front e olhar o número na sexta-feira produz decisão errada. Você precisa de divisão estável, métrica única e cálculo de poder antes de ligar o teste.
Peças da infraestrutura
Atribuição: assignee_id no cookie ou no login, enviado junto de cada evento. Trocar de dispositivo troca de grupo e corrompe a amostra.
Gateway: feature flag resolve a variação no servidor e devolve sempre a mesma opção. LaunchDarkly (LaunchDarkly, 2025), Statsig (Statsig, 2025) e GrowthBook (GrowthBook, 2025) fazem isso, e o PostHog também.
Métrica: uma métrica de produto, escolhida antes do teste começar. Ron Kohavi, em Trustworthy Online Controlled Experiments (Cambridge University Press, 2020), mostra que métrica escolhida depois do resultado não prova hipótese nenhuma.
Erros que destroem o resultado
Olhar todo dia: checar resultado diário e parar quando aparece vantagem aumenta a chance de falso positivo. Defina duração por poder estatístico e pare no dia combinado.
Dois testes na mesma tela: dois botões diferentes medidos juntos viram confusão de efeito. Um teste, uma hipótese.
Amostra pequena: com 400 visitantes por grupo, diferença de 3% some no ruído. Calcule o tamanho antes de ligar.
Quando não testar
Experimento confirma hipótese de execução. Direção de produto sai de conversa com cliente, e Marty Cagan trata isso em Inspired (2017). Com menos de mil usuários ativos por semana, converse com dez clientes em vez de rodar teste.
