Grupy holdout: najdokładniejszy test inkrementalności w Retail Media

Grupy kontrolne: Najbardziej rzetelny test inkrementalności w Retail Media Każdy raport z kampanii pokazuje, co się wydarzyło. Sprzedaż wzrosła. Wskaźnik ROAS wyniósł 4x. Wyświetlenia zostały zrealizowane. Wykresy są na zielono.

Jednak najważniejsze pytanie nie dotyczy tego, co się wydarzyło. Chodzi o to, co by się stało, gdyby nie Twoja kampania.

Właśnie na to pytanie odpowiada grupa kontrolna. I jest to najczystsza droga do dowodu przyczynowości, jaką dysponują Retail Media.

Najprostsza wersja najtrudniejszego pytania

Inkrementalnosc to najtrudniejsze pytanie w reklamie. Czy to kampania spowodowała wzrost sprzedaży, czy też sprzedaż ta miałaby miejsce i tak?

Większość kanałów medialnych nie potrafi na to odpowiedzieć. Mogą one korelować ekspozycję z wynikami. Mogą modelować atrybucję. Mogą przeprowadzać badania ekonometryczne miesiące po fakcie. Nie potrafią jednak wyodrębnić związku przyczynowego w czasie rzeczywistym.

Retail Media potrafią to zrobić. Dzieje się tak, ponieważ dane znajdują się w zamkniętym ekosystemie, sieci detalicznej, gdzie można kontrolować, kto widzi kampanię, i obserwować, co kupują wszyscy klienci.

Test z grupą kontrolną to najprostsze zastosowanie tej przewagi.

Jak to działa

Weźmy grupę shopperów kwalifikujących się do kampanii, spełniają oni kryteria targetowania, robią zakupy w odpowiednich sklepach i są aktywni w odpowiednich kategoriach.

Podzielmy ich na dwie grupy:

• Grupa eksponowana. Widzą kampanię. Ekrany, reklamy cyfrowe, produkty sponsorowane, cokolwiek obejmuje plan medialny.
• Grupa kontrolna. Pod każdym istotnym względem odpowiada grupie eksponowanej, częstotliwość zakupów, wielkość koszyka, zachowania w poszczególnych kategoriach, struktura sklepów, ale nie widzi kampanii. Uruchom kampanię. Poczekaj na zakończenie okresu pomiarowego. Porównaj wyniki.

Różnica w zachowaniach zakupowych między obiema grupami to efekt przyrostowy. Zachowanie grupy kontrolnej stanowi punkt odniesienia, to, co wydarzyło się bez kampanii.

To wszystko. Żadnych skomplikowanych modeli. Żadnych założeń dotyczących tego, jak wygląda „normalność”. Żadnych wybiórczo dobranych okresów porównawczych. Po prostu dwie grupy, jeden bodziec i zmierzony wynik.

Dlaczego jest to złoty standard

Testy z grupą kontrolną to najbliższe odpowiedniki randomizowanych badań kontrolowanych, jakie można przeprowadzić w reklamie na dużą skalę. Działa to na tej samej zasadzie, co kliniczne badania leków: jednej grupie podaje się lek, drugiej placebo, a następnie porównuje się wyniki.

Siła tej metody polega na tym, że uwzględnia ona wszystkie niewidoczne czynniki. Sezonowość, działania konkurencji, zmiany cen, przesunięcia w dystrybucji, pogoda, warunki makroekonomiczne, wszystkie te czynniki wpływają w równym stopniu na obie grupy. Dzięki temu, gdy zauważysz różnicę w zachowaniach zakupowych, możesz mieć pewność, że to właśnie kampania była jej przyczyną.

Żadna inna metoda pomiaru nie daje takiej pewności. Ani analiza przed i po, ani porównanie rok do roku, ani modelowanie marketing mixu, ani atrybucja wielokanałowa. Wszystkie te metody opierają się na założeniach. Grupy kontrolne wymagają tylko jednego: aby obie grupy były na początku równoważne.

Istotne decyzje projektowe

Test z grupą kontrolną wydaje się prosty. Jego realizacja ma jednak swoje niuanse.

• Wielkość grup. Grupy muszą być wystarczająco duże, aby wykryć znaczącą różnicę. Jeśli oczekiwany wzrost jest niewielki, powiedzmy 3, 5%, potrzebujesz dziesiątek tysięcy shoppers w każdej grupie, aby osiągnąć istotność statystyczną. Testy o zbyt małej mocy dają zakłócone wyniki, którym nie można ufać.
• Jakość dopasowania. Grupa kontrolna musi być podobna do grupy eksponowanej przed rozpoczęciem kampanii. Oznacza to dopasowanie pod względem częstotliwości zakupów, wydatków w poszczególnych kategoriach, rozkładu sklepów, składu koszyka oraz aktualności. Jeśli grupy nie są zrównoważone, porównanie jest zafałszowane. Nawet niewielkie odchylenie, na przykład nieznacznie wyższe wydatki bazowe w grupie eksponowanej, może zawyżyć wynik.
• Kontrola zanieczyszczenia wyników. Nośniki reklamowe w sklepach stwarzają ryzyko zanieczyszczenia wyników. Jeśli grupa kontrolna robi zakupy w sklepie, w którym na ekranach wyświetlana jest kampania, jej członkowie mogą ją i tak zobaczyć. Prawdziwe projekty grup kontrolnych uwzględniają ten czynnik, albo poprzez stosowanie kampanii wyłącznie cyfrowych, w których ekspozycję można precyzyjnie kontrolować, albo poprzez podział geograficzny, w ramach którego całe sklepy lub regiony są wykluczone z badania.
• Okres pomiaru. Jak długo należy prowadzić pomiary po ekspozycji? Zbyt krótki okres pomija zakupy dokonywane z opóźnieniem. Zbyt długi pozwala na wkradnięcie się innych czynników. Odpowiedni okres zależy od cyklu zakupowego danej kategorii. W przypadku artykułów spożywczych kupowanych co tydzień zazwyczaj wystarczają dwa do czterech tygodni. W przypadku zakupów dokonywanych co kwartał, takich jak proszek do prania, może być potrzebnych sześć do ośmiu tygodni.
• Co mierzymy. Oczywistym wskaźnikiem jest wzrost sprzedaży, czy grupa, która miała kontakt z reklamą, kupiła więcej? Jednak dobry test sięga głębiej:

Penetracja. Czy więcej osób kupiło produkt, czy też dotychczasowi nabywcy po prostu kupili więcej?

Odsetek nowych klientów marki new-to-brand. Ilu kupujących z grupy, na którą skierowano kampanię, kupiło tę markę po raz pierwszy?

Wpływ na koszyk. Czy kampania wpłynęła na kategorie pokrewne lub na ogólną wartość koszyka?

Wskaźnik powtórnych zakupów. Czy kampania spowodowała jednorazowe wypróbowanie produktu, czy też trwałą zmianę zachowań?

Każdy z tych wskaźników opowiada inną historię o tym, co faktycznie osiągnęła kampania, i każdy z nich ma znaczenie dla różnych interesariuszy.

Grupy kontrolne i prognozowanie popytu: razem działają lepiej

Grupy kontrolne dostarczają dowodów eksperymentalnych. Prognozowanie popytu dostarcza dowodów opartych na modelach. Najlepsze systemy pomiarowe wykorzystują oba te elementy.

Oto dlaczego.

Grupa kontrolna pokazuje, co wydarzyło się w ramach testu, ale tylko w ramach testu. Jest precyzyjna w odniesieniu do konkretnej kampanii, audiencji i przedziału czasowego. Nie da się jej jednak łatwo uogólnić. Przeprowadzenie pełnego testu z grupą kontrolną dla każdej kampanii wiąże się z wysokimi kosztami alternatywnymi, celowo nie wyświetlasz reklam shoppersom, którzy mogliby dokonać konwersji.

Model prognozowania popytu pokazuje, co powinno się wydarzyć na podstawie wzorców historycznych, sezonowości, promocji, dystrybucji, cen oraz wpływu dnia tygodnia. Obejmuje on cały zasięg kampanii, a nie tylko jej podzbiór testowy. Jest to jednak model, a nie eksperyment. Opiera się on na pewnych założeniach.

Kiedy przeprowadzasz oba testy:

• Grupa kontrolna weryfikuje model. Jeśli prognoza popytu przewiduje wzrost o 5%, a grupa kontrolna odnotowuje 4,8%, wiadomo, że model jest skalibrowany.
• Model rozszerza zakres eksperymentu. Po zweryfikowaniu prognoza popytu może oszacować inkrementalność w kampaniach, w których utworzenie pełnej grupy kontrolnej nie jest praktyczne, mniejszych kampaniach, programach działających w trybie ciągłym, akcjach in-store, gdzie wyłączenie obszarów geograficznych nie jest możliwe.
• Zaufanie się kumuluje. Marki bardziej ufają wynikom, gdy dwie niezależne metody są ze sobą zgodne. A kiedy ufają wynikom, inwestują więcej.

W ten sposób dojrzewa proces pomiaru w Retail Media. Zaczynasz od grup kontrolnych, aby ustalić prawdę. Tworzysz modele prognostyczne, aby skalować tę prawdę. I okresowo przeprowadzasz grupy kontrolne, aby modele pozostawały rzetelne.

Co może pójść nie tak

Najczęstsze błędy w testach z grupą kontrolną:

• Zbyt mała. Testy o zbyt małej mocy statystycznej, które nie są w stanie wykryć rzeczywistych efektów. Kampania mogła zadziałać, ale test nie jest w stanie tego udowodnić. To podważa zaufanie i marnuje szansę.
• Źle dobrane. Grupy kontrolne tworzone raczej na zasadzie wygody niż dopasowania statystycznego. Wynik wygląda dobrze, ponieważ grupy od początku były różne, a nie dlatego, że kampania zadziałała.
• Zanieczyszczenie. Kampanie in-store, w których grupa kontrolna i tak miała kontakt z reklamą. Jeśli nie da się kontrolować, kto widzi reklamę, test nie mierzy tego, co wydaje się, że mierzy.
• Niewłaściwy wskaźnik. Mierzenie wyłącznie całkowitej sprzedaży, podczas gdy prawdziwym zagadnieniem są nowi nabywcy. Albo mierzenie wyłącznie promowanego SKU, podczas gdy prawdziwą wartością są efekty halo w całym portfolio.
• Jednorazowe podejście. Przeprowadzenie pojedynczego testu i traktowanie wyniku jako niezmiennej prawdy. Rynki się zmieniają, audiencje ewoluują, a to, co zadziałało w pierwszym kwartale, może nie sprawdzić się w trzecim. Testowanie z grupą kontrolną powinno być praktyką ciągłą, a nie jednorazową weryfikacją.

Argumenty biznesowe

Grupy kontrolne to nie tylko ćwiczenie pomiarowe. To strategia biznesowa.

Kiedy marka dostrzega wiarygodne, potwierdzone eksperymentalnie dane dotyczące wzrostu, rozmowa nabiera innego charakteru. Nie chodzi już o to, „czy kampania zadziałała?”, ale o to, „jak to skalować?”.

Ta zmiana ma znaczenie dla przedłużania umów. Ma znaczenie dla rozmów o budżecie. Ma znaczenie dla przeniesienia Retail Media z budżetu testowego do stałej pozycji w budżecie.

Sieci mediów detalicznych (RMN), które inwestują w metodologię grup kontrolnych, odpowiednio zaprojektowaną, konsekwentnie realizowaną i przejrzyście raportowaną, budują zaufanie szybciej niż te, które opierają się na raportowaniu opartym na korelacji. A to właśnie zaufanie przekształca okresy próbne w wieloletnie zobowiązania.

Podsumowanie

Test z grupą kontrolną to najprostszy i najbardziej wiarygodny sposób na udzielenie odpowiedzi na najtrudniejsze pytanie w reklamie: czy ta kampania przyczyniła się do wzrostu sprzedaży?

Poddaj jedną grupę działaniu kampanii. Drugą pozostaw bez zmian. Porównaj wyniki. Różnica stanowi odpowiedź.

Nie jest to jedyna metoda pomiaru, jakiej potrzebują media Retail Media. Jest to jednak ta, która stanowi podstawę dla wszystkich pozostałych. Bez niej każdy inny wskaźnik, ROAS, wzrost sprzedaży, new-to-brand, opiera się na założeniach, a nie na dowodach.

Chcesz zobaczyć, jak to działa w praktyce?

Footprints AI pomaga markom i detalistom mierzyć to, co naprawdę ma znaczenie. Zapoznaj się z historiami sukcesów naszych klientów lub skontaktuj się z nami, aby omówić swoją strategię w zakresie Retail Media.