Grupy kontrolne stanowią złoty standard w analizie inkrementalności. Nie zawsze jednak da się je zastosować.
Kampanie typu „always-on” z założenia nie mają grupy nieeksponowanej, są skierowane do wszystkich klientów. W przypadku kampanii in-store, gdzie ekrany wyświetlają treści wszystkim obecnym w sklepie, nie da się wyraźnie oddzielić eksponowanych klientów od nieeksponowanych w tej samej lokalizacji. Kampanie na małą skalę mogą nie mieć wystarczającej wielkości, aby uzyskać statystycznie istotne wyniki dla grupy kontrolnej.
Gdy nie można przeprowadzić czystego eksperymentu z grupą testową i kontrolną, potrzebna jest syntetyczna alternatywa.
Nie jest to tak dobre jak prawdziwy eksperyment, ale znacznie lepsze niż brak jakichkolwiek pomiarów.
Co oznaczają testy syntetyczne
Testowanie syntetyczne polega na stworzeniu scenariusza alternatywnego, oszacowania tego, co mogłoby się wydarzyć bez kampanii, przy użyciu danych historycznych i metod statystycznych zamiast rzeczywistej grupy kontrolnej.
Najpopularniejsze podejścia:
Testy rynkowe z dopasowaniem. Porównaj sklepy lub regiony, w których kampania była prowadzona, z podobnymi sklepami/regionami, w których jej nie było. „Grupa kontrolna” nie jest losowo wybraną grupą, lecz dopasowanym zestawem porównawczym, wybranym pod kątem podobieństwa wzorców sprzedaży, danych demograficznych i dynamiki konkurencji.
Modelowanie szeregów czasowych. Tworzy się prognozę popytu w oparciu o dane sprzed kampanii, sezonowość, trendy, promocje, ceny i dystrybucję. Prognozuje się, co powinno było zostać sprzedane w okresie trwania kampanii. Prognozę porównuje się z rzeczywistą sprzedażą. Różnica stanowi szacowany efekt kampanii.
Metoda kontroli syntetycznej. Jest to ważona kombinacja jednostek nieobjętych kampanią (sklepów, regionów lub grup klientów), które łącznie odzwierciedlają zachowanie grupy objętej kampanią przed jej rozpoczęciem. Kontrola syntetyczna pełni rolę statystycznie skonstruowanego bliźniaka.
Każda z metod wiąże się z pewnymi kompromisami. Rynki dopasowane zakładają, że zbiór porównawczy jest rzeczywiście porównywalny. Modele szeregów czasowych zakładają, że przyszłość będzie przebiegać zgodnie z przeszłością. Kontrola syntetyczna zakłada, że wagi oszacowane na podstawie danych sprzed kampanii utrzymają się w trakcie jej trwania.
Kiedy stosować metody syntetyczne
Programy działające w trybie ciągłym, w których nie ma naturalnej grupy nieobjętej kampanią
Kampanie in-store, w których wykluczenie obszarów geograficznych nie jest praktyczne
Małe kampanie, w których wielkość grupy kontrolnej byłaby zbyt mała, by uzyskać istotność statystyczną
Analiza retrospektywna, gdy w pierwotnej kampanii nie przewidziano grupy kontrolnej
Wymóg przejrzystości
Metody syntetyczne opierają się na założeniach. Rzetelne raportowanie oznacza jasne przedstawienie tych założeń:
„Syntetyczną grupę kontrolną utworzono na podstawie 15 sklepów nieobjętych kampanią, dobranych pod kątem trendów sprzedaży w poszczególnych kategoriach oraz profilu demograficznego. Dopasowanie przed kampanią: R² = 0,94.”
„Prognoza popytu opiera się na danych historycznych z 52 tygodni, uwzględniających sezonowość, częstotliwość promocji oraz zmiany w dystrybucji.”
Kiedy przedstawiasz zasady, marka może ocenić metodę. Kiedy ukrywasz metodę, marka musi ci zaufać, a zaufanie bez przejrzystości nie trwa długo.
W Footprints AI, gdy nie możemy utworzyć czystych grup kontrolnych, stosujemy przejrzyste metody syntetyczne i weryfikujemy je w oparciu o kampanie, w których dostępne są grupy kontrolne. Jeśli metoda syntetyczna daje szacunki mieszczące się w przedziale 10% od wyniku grupy kontrolnej w kampaniach weryfikacyjnych, możemy z pełnym przekonaniem stosować ją w kampaniach, w których utworzenie grup kontrolnych nie jest możliwe.
Podsumowanie
Gdy nie można przeprowadzić czystego testu z grupą kontrolną, potrzebna jest metoda, która jest przejrzysta i spójna. Testy syntetyczne to zapewniają, statystycznie skonstruowany scenariusz alternatywny, który szacuje, co by się stało bez kampanii.
Nie jest to tak czyste rozwiązanie jak losowa grupa kontrolna. Jest jednak znacznie lepsze niż porównanie przed i po, które wprowadza zakłócenia wynikające z czynników zewnętrznych, lub brak jakichkolwiek pomiarów.
Określ metodę. Określ założenia. W miarę możliwości zweryfikuj wyniki z grupą kontrolną. I zawsze wybieraj prawdziwe grupy kontrolne, gdy jest to możliwe.
Chcesz zobaczyć, jak to działa w praktyce?
Footprints AI pomaga markom i detalistom mierzyć to, co naprawdę ma znaczenie. Zapoznaj się z historiami sukcesów naszych klientów lub skontaktuj się z nami, aby omówić swoją strategię w zakresie Retail Media.
