Os grupos de controle são o padrão-ouro para a incrementalidade. Mas nem sempre são viáveis.
Campanhas contínuas não possuem um grupo não exposto; por definição, todos os shoppers são alvo da campanha. Campanhas in-store, nas quais telas exibem conteúdo para todos os presentes no local, não conseguem separar claramente os shoppers expostos dos não expostos no mesmo local. Campanhas de pequena escala podem não ter volume suficiente para produzir resultados estatisticamente significativos no grupo de controle.
Quando não é possível realizar um experimento claro de teste/controle, é necessária uma alternativa sintética.
Não é tão bom quanto o real. Mas é muito melhor do que nenhuma medição.
O que significa o teste sintético
O teste sintético constrói um cenário contrafactual, uma estimativa do que teria acontecido sem a campanha, utilizando dados históricos e métodos estatísticos em vez de um grupo de controle real.
As abordagens mais comuns:
Teste de mercado pareado. Compare lojas ou regiões onde a campanha foi realizada com lojas/regiões semelhantes onde ela não ocorreu. O “grupo de controle” não é uma amostra de retenção designada aleatoriamente, mas um conjunto de comparação pareado, selecionado por sua semelhança em padrões de vendas, dados demográficos e dinâmicas competitivas.
Modelagem de séries temporais. Cria-se uma previsão de demanda com base em dados pré-campanha, sazonalidade, tendências, promoções, preços e distribuição. Projeta-se o que deveria ter sido vendido durante o período da campanha. Compara-se a projeção com as vendas reais. A diferença representa o efeito estimado da campanha.
Método de controle sintético. Uma combinação ponderada de unidades não expostas (lojas, regiões ou grupos de shoppers) que, juntas, se aproximam do comportamento pré-campanha do grupo tratado. O controle sintético atua como um gêmeo construído estatisticamente.
Cada método tem suas vantagens e desvantagens. Os mercados pareados pressupõem que o conjunto de comparação seja verdadeiramente comparável. Os modelos de séries temporais pressupõem que o futuro siga o passado. Os controles sintéticos pressupõem que os pesos estimados a partir dos dados pré-campanha se mantenham durante a campanha.
Quando usar métodos sintéticos
Programas contínuos, nos quais não há um grupo natural não exposto
Campanhas in-store em que a exclusão geográfica não é viável
Campanhas de pequeno porte, nas quais o tamanho do grupo de controle seria pequeno demais para ser estatisticamente significativo
Análise retrospectiva quando um grupo de controle não foi planejado na campanha original
A exigência de transparência
Métodos sintéticos envolvem suposições. Relatórios honestos significam declarar essas suposições claramente:
“O controle sintético foi construído a partir de 15 lojas não expostas, pareadas quanto à tendência de vendas por categoria e ao perfil demográfico. Ajuste pré-campanha: R² = 0,94.”
“A previsão de demanda utiliza 52 semanas de dados históricos, levando em conta a sazonalidade, a frequência das promoções e as mudanças na distribuição.”
Quando você expõe as regras, a marca pode avaliar o método. Quando você oculta o método, a marca precisa confiar em você, e a confiança sem transparência não dura.
Na Footprints AI, quando não podemos utilizar grupos de controle puros, usamos métodos sintéticos transparentes e os validamos em comparação com campanhas nas quais há grupos de controle disponíveis. Se o método sintético produzir estimativas com uma variação de até 10% em relação ao resultado do grupo de controle nas campanhas de validação, podemos utilizá-lo com confiança em campanhas nas quais grupos de controle não são viáveis.
Conclusão
Quando não é possível realizar testes de controle bem definidos, você precisa de um método que seja transparente e consistente. Os testes sintéticos oferecem isso: um cenário contrafactual construído estatisticamente que estima o que teria acontecido sem a campanha.
Não é tão preciso quanto um grupo de controle randomizado. Mas é muito melhor do que a comparação pré/pós, que confunde todos os fatores externos, ou do que nenhuma medição.
Descreva o método. Descreva as premissas. Valide os resultados em relação aos de um grupo de controle, quando possível. E sempre dê preferência a grupos de controle reais, quando forem viáveis.
Pronto para ver como isso funciona na prática?
A Footprints AI ajuda marcas e varejistas a medir o que realmente importa. Confira nossas histórias de sucesso de clientes ou entre em contato para discutir sua estratégia de Retail Media.
