Grupy kontrolne: najdokładniejszy test przyrostowości w mediach detalicznych

Grupy kontrolne: najczystszy test przyrostowości w mediach detalicznych Każdy raport z kampanii informuje, co się wydarzyło. Sprzedaż wzrosła. ROAS wyniósł 4x. Wyświetlenia zostały dostarczone. Wykresy są zielone.

Jednak istotne nie jest to, co się wydarzyło. Istotne jest to, co wydarzyło się bez Państwa udziału.

Na to pytanie odpowiada grupa kontrolna. Jest to najczystsza droga do dowodu przyczynowości, jaką dysponują Retail Media.

Najprostsza wersja najtrudniejszego pytania

Przyrostowość to najtrudniejsze pytanie w reklamie. Czy to kampania spowodowała sprzedaż, czy też sprzedaż ta miałaby miejsce i tak?

Większość kanałów medialnych nie potrafi na to odpowiedzieć. Mogą one korelować ekspozycję z wynikami. Mogą modelować atrybucję. Mogą przeprowadzać badania ekonometryczne miesiące po fakcie. Nie potrafią jednak wyodrębnić przyczynowości w czasie rzeczywistym.

Retail Media potrafią. Ponieważ dane znajdują się w zamkniętym ekosystemie – u detalisty – gdzie kontrolujesz, kto widzi kampanię, i możesz obserwować, co kupują wszyscy.

Test grupy kontrolnej to najprostsze zastosowanie tej zalety.

Jak to działa

Weźmy populację kupujących, którzy kwalifikują się do kampanii – spełniają kryteria targetowania, robią zakupy w odpowiednich sklepach, są aktywni w odpowiednich kategoriach.

Podziel ich na dwie grupy:

• Grupa eksponowana. Widzą kampanię. Ekrany, reklamy cyfrowe, produkty sponsorowane – cokolwiek obejmuje plan medialny.
• Grupa kontrolna. Pod każdym istotnym względem odpowiada grupie eksponowanej – częstotliwość zakupów, wielkość koszyka, zachowania w poszczególnych kategoriach, mix sklepów – ale nie widzi kampanii. Uruchom kampanię. Poczekaj na zamknięcie okna pomiarowego. Porównaj wyniki.

Różnica w zachowaniach zakupowych między dwiema grupami to efekt przyrostowy. Zachowanie grupy kontrolnej to punkt odniesienia – to, co wydarzyło się bez kampanii.

To wszystko. Żadnych skomplikowanych modeli. Żadnych założeń dotyczących tego, jak wygląda „normalność”. Żadnych wybiórczo dobranych okresów porównawczych. Po prostu dwie grupy, jeden bodziec i zmierzony wynik.

Dlaczego jest to złoty standard

Testy z grupą kontrolną to coś, co najbardziej przypomina randomizowane badania kontrolowane, jakie można przeprowadzić na dużą skalę w reklamie. To ta sama logika, która stoi za klinicznymi badaniami leków: podaj jednej grupie lek, drugiej placebo, porównaj wyniki.

Powodem, dla którego jest to tak skuteczne, jest to, że kontroluje wszystko, czego nie widać. Sezonowość, działania konkurencji, zmiany cen, zmiany w dystrybucji, pogoda, warunki makroekonomiczne – wszystko to wpływa w równym stopniu na obie grupy. Kiedy więc zauważysz różnicę w zachowaniach zakupowych, możesz mieć pewność, że to kampania ją spowodowała.

Żadna inna metoda pomiaru nie daje takiej pewności. Ani analiza przed i po, ani porównanie rok do roku, ani modelowanie marketing mixu, ani atrybucja wielokanałowa. Wszystkie te metody wymagają założeń. Grupy kontrolne wymagają tylko jednego: aby obie grupy były na początku równoważne.

Decyzje projektowe, które mają znaczenie

Test z grupą kontrolną brzmi prosto. Jego realizacja ma jednak swoje niuanse.

• Wielkość grupy. Grupy muszą być wystarczająco duże, aby wykryć znaczącą różnicę. Jeśli oczekiwany wzrost jest niewielki – powiedzmy 3–5% – potrzebujesz dziesiątek tysięcy klientów w każdej grupie, aby osiągnąć istotność statystyczną. Testy o zbyt małej mocy dają zakłócone wyniki, którym nie można ufać.
• Jakość dopasowania. Grupa kontrolna musi wyglądać jak grupa eksponowana przed rozpoczęciem kampanii. Oznacza to dopasowanie pod względem częstotliwości zakupów, wydatków w poszczególnych kategoriach, rozkładu sklepów, składu koszyka i aktualności. Jeśli grupy nie są zrównoważone, porównanie jest zafałszowane. Nawet niewielkie odchylenie – np. nieco wyższe wydatki bazowe w grupie eksponowanej – może zawyżyć wynik.
• Kontrola zanieczyszczenia. Media w sklepach stwarzają ryzyko zanieczyszczenia. Jeśli grupa kontrolna robi zakupy w sklepie, w którym na ekranach wyświetlana jest kampania, może ją i tak zobaczyć. Prawdziwe projekty grup kontrolnych uwzględniają to – albo poprzez stosowanie kampanii wyłącznie cyfrowych, w których ekspozycję można precyzyjnie kontrolować, albo poprzez podział geograficzny, w którym całe sklepy lub regiony są wykluczone.
• Okres pomiaru. Jak długo po ekspozycji przeprowadzasz pomiary? Zbyt krótki okres pominiecie zakupy opóźnione. Zbyt długi – pojawią się inne czynniki. Właściwy okres zależy od cyklu zakupowego danej kategorii. W przypadku artykułów spożywczych kupowanych co tydzień zazwyczaj wystarczają dwa do czterech tygodni. W przypadku zakupów dokonywanych co kwartał, takich jak proszek do prania, może być potrzebnych sześć do ośmiu tygodni.
• Co mierzymy. Oczywistym wskaźnikiem jest wzrost sprzedaży – czy grupa, która miała kontakt z reklamą, kupiła więcej? Jednak dobry test sięga głębiej:

Penetracja. Czy więcej osób kupiło produkt, czy też dotychczasowi nabywcy po prostu kupili więcej?

Wskaźnik nowych klientów marki. Ilu kupujących z grupy, na którą skierowano kampanię, kupiło tę markę po raz pierwszy?

Wpływ na koszyk. Czy kampania wpłynęła na kategorie pokrewne lub na ogólną wartość koszyka?

Wskaźnik powtórnych zakupów. Czy kampania spowodowała jednorazowe wypróbowanie produktu, czy też trwałą zmianę zachowań?

Każdy z tych wskaźników opowiada inną historię o tym, co faktycznie osiągnęła kampania – i każdy z nich ma znaczenie dla różnych interesariuszy.

Grupy kontrolne i prognozowanie popytu: razem działają lepiej

Grupy kontrolne dostarczają dowodów eksperymentalnych. Prognozowanie popytu dostarcza dowodów modelowych. Najlepsze systemy pomiarowe wykorzystują oba te elementy.

Oto dlaczego.

Grupa kontrolna informuje o tym, co wydarzyło się w teście – ale tylko w teście. Jest precyzyjna dla konkretnej kampanii, odbiorców i przedziału czasowego. Nie da się jej jednak łatwo uogólnić. Przeprowadzenie pełnego testu z grupą kontrolną dla każdej kampanii jest kosztowne pod względem kosztu alternatywnego – celowo nie wyświetlasz reklam kupującym, którzy mogliby dokonać konwersji.

Model prognozowania popytu pokazuje, co powinno się wydarzyć na podstawie historycznych wzorców – sezonowości, promocji, dystrybucji, cen, wpływu dnia tygodnia. Obejmuje on cały zasięg kampanii, a nie tylko podzbiór testowy. Jest to jednak model, a nie eksperyment. Opiera się on na założeniach.

Kiedy stosujesz oba rozwiązania:

• Grupa kontrolna weryfikuje model. Jeśli prognoza popytu przewiduje wzrost o 5%, a grupa kontrolna mierzy 4,8%, wiesz, że model jest skalibrowany.
• Model rozszerza eksperyment. Po zweryfikowaniu prognoza popytu może oszacować przyrostowość dla kampanii, w których pełna grupa kontrolna nie jest praktyczna – mniejszych kampanii, programów działających w trybie ciągłym, aktywacji w sklepach, gdzie wyłączenie niektórych obszarów geograficznych nie jest możliwe.
• Zaufanie się kumuluje. Marki bardziej ufają danym, gdy dwie niezależne metody są ze sobą zgodne. A kiedy ufają danym, inwestują więcej.

W ten sposób dojrzewa pomiar w mediach detalicznych. Zaczynasz od grup kontrolnych, aby ustalić prawdę. Tworzysz modele prognozowania, aby skalować tę prawdę. I okresowo uruchamiasz grupy kontrolne, aby modele pozostawały rzetelne.

Co może pójść nie tak

Najczęstsze błędy w testach z grupą kontrolną:

• Zbyt mała. Testy o zbyt małej mocy, które nie są w stanie wykryć rzeczywistych efektów. Kampania mogła zadziałać, ale test nie jest w stanie tego udowodnić. To zabija zaufanie i marnuje szansę.
• Słabe dopasowanie. Grupy kontrolne tworzone raczej na zasadzie wygody niż dopasowania statystycznego. Wynik wygląda dobrze, ponieważ grupy były od początku różne – a nie dlatego, że kampania zadziałała.
• Zanieczyszczenie. Kampanie w sklepach, w których grupa kontrolna i tak miała kontakt z reklamą. Jeśli nie możesz kontrolować, kto widzi reklamę, test nie mierzy tego, co myślisz, że mierzy.
• Niewłaściwy wskaźnik. Mierzenie wyłącznie całkowitej sprzedaży, podczas gdy prawdziwym pytaniem są nowi nabywcy. Albo mierzenie wyłącznie promowanego SKU, podczas gdy prawdziwą wartością są efekty halo w całym portfolio.
• Raz i koniec. Przeprowadzenie pojedynczego testu i traktowanie wyniku jako niezmiennej prawdy. Rynki się zmieniają, odbiorcy się zmieniają, a to, co zadziałało w pierwszym kwartale, może nie zadziałać w trzecim. Testowanie z grupą kontrolną powinno być praktyką ciągłą, a nie jednorazową weryfikacją.

Argumenty biznesowe

Grupy kontrolne to nie tylko ćwiczenie pomiarowe. To strategia biznesowa.

Kiedy marka widzi wiarygodne, potwierdzone eksperymentalnie dane dotyczące wzrostu, rozmowa zmienia się. Nie chodzi już o to, „czy kampania zadziałała?”, ale „jak to skalować?”.

Ta zmiana ma znaczenie dla przedłużenia umów. Ma znaczenie dla rozmów o budżecie. Ma znaczenie dla przeniesienia Retail Media z budżetu testowego do stałej pozycji w budżecie.

RMN, które inwestują w metodologię grup kontrolnych – odpowiednio zaprojektowaną, konsekwentnie realizowaną i przejrzyście raportowaną – budują zaufanie szybciej niż te, które opierają się na raportowaniu opartym na korelacji. A zaufanie jest tym, co przekształca próby w wieloletnie zobowiązania.

Podsumowanie

Test z grupą kontrolną to najprostszy i najbardziej wiarygodny sposób na odpowiedź na najtrudniejsze pytanie w reklamie: czy ta kampania spowodowała wzrost sprzedaży?

Wystaw jedną grupę. Zatrzymaj drugą. Porównaj wyniki. Różnica to Twoja odpowiedź.

Nie jest to jedyna metoda pomiaru, jakiej potrzebują Retail Media. Jest to jednak metoda, która stanowi podstawę wszystkich pozostałych. Bez niej wszystkie inne wskaźniki – ROAS, wzrost sprzedaży, nowi klienci – opierają się na założeniach, a nie na dowodach.

Powiązane artykuły

• Pomiar w pętli zamkniętej: jak Retail Media potwierdzają wpływ na sprzedaż
• Poziom odniesienia Retail Media: punkt wyjścia każdego wzrostu sprzedaży w mediach detalicznych
• Częstotliwość koszyka: śledzenie, jak reklamy detaliczne zmieniają nawyki
• W jaki sposób zakupy oparte na odbiorcach definiują przyszłość Retail Media?
• Co składa się na prawdziwą sieć Retail Media? 4 filary, których potrzebuje każda sieć Retail Media

Chcesz zobaczyć, jak to działa w praktyce?

Footprints AI pomaga markom i detalistom mierzyć to, co naprawdę ma znaczenie. Zapoznaj się z historiami sukcesów naszych klientów lub skontaktuj się z nami, aby omówić swoją strategię w zakresie Retail Media.