Grupy kontrolne stanowia zloty standard w analizie przyrostowosci. Nie zawsze jednak da sie je zastosowac.
Kampanie typu „always-on” z zalozenia nie maja grupy nieeksponowanej, sa skierowane do kazdego klienta. W przypadku kampanii w sklepach, gdzie ekrany sa widoczne dla wszystkich osob przebywajacych w sklepie, nie da sie wyraznie oddzielic klientow eksponowanych od nieeksponowanych w tej samej lokalizacji. Kampanie na mala skale moga nie miec wystarczajacego zasiegu, aby uzyskac statystycznie istotne wyniki dla grupy kontrolnej.
Kiedy nie mozna przeprowadzic czystego eksperymentu testowo-kontrolnego, potrzebna jest syntetyczna alternatywa.
Nie jest to tak dobre jak prawdziwe badanie, ale znacznie lepsze niz brak pomiarow.
Co oznaczaja testy syntetyczne
Testy syntetyczne tworza scenariusz alternatywny, czyli szacunkowa wersje tego, co mogloby sie wydarzyc bez kampanii, wykorzystujac dane historyczne i metody statystyczne zamiast rzeczywistej grupy kontrolnej.
Najpopularniejsze podejscia:
Testowanie rynku dopasowanego. Porownaj sklepy lub regiony, w ktorych kampania byla prowadzona, z podobnymi sklepami/regionami, w ktorych jej nie bylo. „Grupa kontrolna” nie jest losowo przypisanym wykluczeniem, ale dopasowanym zestawem porownawczym wybranym pod katem podobienstwa wzorcow sprzedazy, danych demograficznych i dynamiki konkurencji.
Modelowanie szeregow czasowych. Tworzy sie prognoze popytu na podstawie danych sprzed kampanii, sezonowosci, trendow, promocji, cen i dystrybucji. Prognozuje sie, co powinno sie sprzedac w okresie trwania kampanii. Prognoze porownuje sie z rzeczywista sprzedaza. Roznica stanowi szacowany efekt kampanii.
Metoda kontroli syntetycznej. Wazona kombinacja jednostek nieobjetych kampania (sklepow, regionow lub grup klientow), ktore lacznie przyblizaja zachowanie grupy objetej kampania przed jej rozpoczeciem. Kontrola syntetyczna dziala jak statystycznie skonstruowany blizniak.
Kazda metoda ma swoje wady i zalety. Dopasowane rynki zakladaja, ze zestaw porownawczy jest rzeczywiscie porownywalny. Modele szeregow czasowych zakladaja, ze przyszlosc jest kontynuacja przeszlosci. Kontrole syntetyczne zakladaja, ze wagi oszacowane na podstawie danych sprzed kampanii utrzymuja sie w trakcie kampanii.
Kiedy stosowac metody syntetyczne
Programy dzialajace w trybie ciaglym, w ktorych nie ma naturalnej grupy nieobjetej kampania
Kampanie w sklepach, w ktorych wykluczenie obszarow geograficznych nie jest praktyczne
Male kampanie, w ktorych wielkosc grupy kontrolnej bylaby zbyt mala, aby uzyskac istotne wyniki
Analiza retrospektywna, gdy grupa kontrolna nie zostala uwzgledniona w pierwotnej kampanii
Wymog przejrzystosci
Metody syntetyczne opieraja sie na zalozeniach. Rzetelne raportowanie oznacza jasne przedstawienie tych zalozen:
„Kontrola syntetyczna zostala skonstruowana na podstawie 15 sklepow nieobjetych kampania, dopasowanych pod wzgledem trendow sprzedazy w poszczegolnych kategoriach i profilu demograficznego. Dopasowanie przed kampania: R² = 0,94”.
„Prognoza popytu opiera sie na danych historycznych z 52 tygodni, uwzgledniajacych sezonowosc, czestotliwosc promocji i zmiany w dystrybucji”.
Kiedy przedstawisz zasady, marka moze ocenic metode. Kiedy ukrywasz metode, marka musi ci zaufac, a zaufanie bez przejrzystosci nie trwa dlugo.
W Footprints AI, gdy nie mozemy przeprowadzic czystych grup kontrolnych, stosujemy przejrzyste metody syntetyczne i weryfikujemy je w odniesieniu do kampanii, w ktorych dostepne sa grupy kontrolne. Jesli metoda syntetyczna daje szacunki mieszczace sie w granicach 10% wyniku grupy kontrolnej w kampaniach weryfikacyjnych, mozemy ja z pewnoscia stosowac w kampaniach, w ktorych grupy kontrolne nie sa mozliwe do zrealizowania.
Podsumowanie
Gdy nie mozna przeprowadzic czystego testu/kontroli, potrzebna jest metoda, ktora jest przejrzysta i spojna. Testy syntetyczne to zapewniaja, statystycznie skonstruowany scenariusz alternatywny, ktory szacuje, co by sie stalo bez kampanii.
Nie jest to tak czyste rozwiazanie jak losowa grupa kontrolna. Jest to jednak znacznie lepsze niz porownanie przed i po, ktore wprowadza zaklocenia wynikajace z czynnikow zewnetrznych, lub brak jakichkolwiek pomiarow.
Okresl metode. Okresl zalozenia. W miare mozliwosci zweryfikuj wyniki z grupa kontrolna. I zawsze wybieraj prawdziwe grupy kontrolne, jesli to mozliwe.
Powiazane artykuly
- Minimalny pakiet dowodow: zestaw pomiarow, ktory sklania kupujacych do przedluzenia umowy
- Indeks kategorii: Jak sprawdzic, czy pokonales kategorie, a nie kalendarz
- iROAS: wskaznik mediow detalicznych, ktory ulatwia podejmowanie decyzji budzetowych
- Wskaznik wartosci: na czym powinny opierac sie ceny mediow detalicznych
- ROAS dla tego samego SKU a ROAS typu halo: dwie historie mediow detalicznych, jedna prawda
Chcesz zobaczyc, jak to dziala w praktyce?
Footprints AI pomaga markom i sprzedawcom detalicznym mierzyc to, co naprawde ma znaczenie. Zapoznaj sie z historiami sukcesow naszych klientow lub skontaktuj sie z nami, aby omowic swoja strategie w zakresie mediow detalicznych.
