Os grupos de controle sao o padrao-ouro para a incrementalidade. Mas nem sempre sao viaveis.
Campanhas continuas nao tem um grupo nao exposto; por definicao, todos os clientes sao o publico-alvo. Campanhas em lojas fisicas, nas quais telas exibem conteudo para todos os clientes presentes, nao conseguem separar claramente os clientes expostos e os nao expostos no mesmo local. Campanhas de pequena escala podem nao ter volume suficiente para produzir resultados estatisticamente significativos no grupo de controle.
Quando nao e possivel realizar um experimento de teste/controle bem definido, e necessaria uma alternativa sintetica.
Nao e tao bom quanto o real. Mas e muito melhor do que nenhuma medicao.
O que significa teste sintetico
O teste sintetico constroi um contrafactual, uma estimativa do que teria acontecido sem a campanha, usando dados historicos e metodos estatisticos em vez de um grupo de controle real.
As abordagens mais comuns:
Teste de mercado pareado. Compare lojas ou regioes onde a campanha foi realizada com lojas/regioes semelhantes onde ela nao foi. O “controle” nao e um grupo de retencao designado aleatoriamente, mas um conjunto de comparacao pareado, selecionado por semelhanca nos padroes de vendas, dados demograficos e dinamicas competitivas.
Modelagem de series temporais. Crie uma previsao de demanda com base em dados pre-campanha, sazonalidade, tendencias, promocoes, precos e distribuicao. Projete o que deveria ter sido vendido durante o periodo da campanha. Compare a projecao com as vendas reais. A diferenca e o efeito estimado da campanha.
Metodo de controle sintetico. Uma combinacao ponderada de unidades nao expostas (lojas, regioes ou grupos de consumidores) que, juntas, se aproximam do comportamento pre-campanha do grupo tratado. O controle sintetico atua como um gemeo construido estatisticamente.
Cada metodo tem suas vantagens e desvantagens. Mercados pareados pressupoem que o conjunto de comparacao e verdadeiramente comparavel. Modelos de series temporais pressupoem que o futuro segue o passado. Controles sinteticos pressupoem que os pesos estimados a partir dos dados pre-campanha se mantem durante a campanha.
Quando usar metodos sinteticos
Programas continuos onde nao ha um grupo natural nao exposto
Campanhas em lojas onde exclusoes geograficas nao sao viaveis
Campanhas de pequeno porte em que o tamanho do grupo de controle seria muito pequeno para ser significativo
Analise retrospectiva quando um grupo de controle nao foi projetado na campanha original
A exigencia de transparencia
Metodos sinteticos introduzem suposicoes. Relatorios honestos significam declarar essas suposicoes claramente:
"O controle sintetico foi construido a partir de 15 lojas nao expostas, pareadas quanto a tendencia de vendas por categoria e ao perfil demografico. Ajuste pre-campanha: R² = 0,94."
“A previsao de demanda utiliza 52 semanas de dados historicos, levando em conta sazonalidade, cadencia de promocoes e mudancas na distribuicao.”
Quando voce declara as regras, a marca pode avaliar o metodo. Quando voce oculta o metodo, a marca precisa confiar em voce, e a confianca sem transparencia nao dura.
Na Footprints AI, quando nao podemos executar grupos de controle puros, usamos metodos sinteticos transparentes e os validamos em comparacao com campanhas nas quais grupos de controle estao disponiveis. Se o metodo sintetico produzir estimativas dentro de 10% do resultado do grupo de controle nas campanhas de validacao, podemos usa-lo com confianca em campanhas nas quais grupos de controle nao sao viaveis.
Conclusao
Quando nao e possivel executar testes/controles limpos, voce precisa de um metodo que seja transparente e consistente. Os testes sinteticos oferecem isso: um contrafactual construido estatisticamente que estima o que teria acontecido sem a campanha.
Nao e tao preciso quanto um grupo de controle randomizado. Mas e muito melhor do que a comparacao pre/pos, que confunde todos os fatores externos, ou do que nenhuma medicao.
Descreva o metodo. Descreva as premissas. Valide em relacao aos resultados do grupo de controle, quando possivel. E sempre de preferencia a grupos de controle reais, quando viaveis.
Leitura relacionada
- Pacote de Provas Minimas: O Conjunto de Medicoes que Faz os Compradores Renovarem
- Indice de categoria: como saber se voce superou a categoria, e nao o calendario
- iROAS: O numero da midia de varejo que facilita as decisoes orcamentarias
- Metrica de valor: o que a midia de varejo deve usar como referencia de preco
- ROAS do mesmo SKU vs. ROAS de efeito halo: duas historias de midia de varejo, uma verdade
Pronto para ver como isso funciona na pratica?
A Footprints AI ajuda marcas e varejistas a medir o que realmente importa. Veja nossas historias de sucesso de clientes ou entre em contato para discutir sua estrategia de midia de varejo.
