Trabalho com CRM e vejo esse erro em praticamente todo report que passa numa

reunião. Vale compartilhar porque é simples de reconhecer depois que alguém aponta.

O caso típico: base de 200 mil, 180 mil têm e-mail válido e recebem a campanha, 20 mil ficam de fora porque o cadastro está incompleto. No fim do período: recebeu a campanha: 1.620 compras em 180.000 = 0,90% não recebeu: 60 compras em 20.000 = 0,30% 

"A campanha triplicou a conversão." Ninguém questiona, porque o número é grande.

O problema é que quem não recebeu, não recebeu por um motivo, e esse motivo tem

relação direta com propensão de compra. Cadastro incompleto anda junto com menor

vínculo com a marca. Esses dois grupos já eram diferentes antes de qualquer envio.

Quando se sorteia 10% da base ANTES do disparo, o grupo de fora converte a 0,75%,

porque é feito da mesma gente. Aí o lift real aparece: 20%, não 200%. A campanha

funcionou, mas o report exagerou dez vezes, e foi sobre esse número inflado que a

empresa decidiu aumentar o investimento.

O teste de dez segundos que resolve a maioria dos casos: "existe alguma razão para

esse grupo comprar mais ou menos que o outro, independentemente da campanha?" Se

a resposta for sim, não é grupo de controle. Se você precisar pensar muito para

responder, também não é.

Os falsos controles mais comuns, todos parecem legítimos: quem não tem e-mail

válido, quem deu opt-out, quem não abriu a mensagem, quem ficou fora do segmento,

quem teve falha de entrega, e o mesmo período do ano anterior.