Los grupos de control son el estandar de referencia para medir la incrementalidad. Pero no siempre es posible utilizarlos.
Las campanas siempre activas no tienen un grupo no expuesto; por diseno, todos los Shoppers son el publico objetivo. Las campanas en tiendas fisicas, donde las pantallas se dirigen a todos los presentes, no pueden separar claramente a los Shoppers expuestos de los no expuestos en el mismo lugar. Es posible que las campanas a pequena escala no tengan suficiente volumen para producir resultados estadisticamente significativos en el grupo de control.
Cuando no se puede realizar un experimento de prueba/control claro, se necesita una alternativa sintetica.
No es tan buena como la real. Pero es mucho mejor que no realizar ninguna medicion.
Que significa la prueba sintetica
Las pruebas sinteticas construyen un contrafactual, una estimacion de lo que habria pasado sin la campana, usando datos historicos y metodos estadisticos en lugar de un grupo de control en vivo.
Los enfoques mas comunes:
Pruebas de mercado emparejadas. Comparar tiendas o regiones donde se llevo a cabo la campana con tiendas o regiones similares donde no se hizo. El «control» no es un grupo de control asignado al azar, sino un conjunto de comparacion emparejado seleccionado por su similitud en patrones de ventas, datos demograficos y dinamica competitiva.
Modelado de series temporales. Se elabora un pronostico de demanda basado en datos previos a la campana, estacionalidad, tendencias, promociones, precios y distribucion. Se proyecta lo que se habria vendido durante el periodo de la campana. Se compara la proyeccion con las ventas reales. La diferencia es el efecto estimado de la campana.
Metodo de control sintetico. Una combinacion ponderada de unidades no expuestas (tiendas, regiones o grupos de Shoppers) que, en conjunto, se aproximan al comportamiento previo a la campana del grupo tratado. El control sintetico actua como un gemelo construido estadisticamente.
Cada metodo tiene sus ventajas y desventajas. Los mercados emparejados asumen que el conjunto de comparacion es verdaderamente comparable. Los modelos de series temporales asumen que el futuro sigue el patron del pasado. Los controles sinteticos asumen que las ponderaciones estimadas a partir de los datos previos a la campana se mantienen durante la campana.
Cuando utilizar metodos sinteticos
Programas permanentes en los que no existe un grupo natural no expuesto
Campanas en tiendas donde no es practico excluir zonas geograficas
Campanas pequenas en las que el tamano del grupo de control seria demasiado pequeno para ser significativo
Analisis retrospectivo cuando no se diseno un grupo de control en la campana original
El requisito de transparencia
Los metodos sinteticos introducen supuestos. Informar con honestidad significa exponer esos supuestos con claridad:
«El control sintetico se construyo a partir de 15 tiendas no expuestas emparejadas segun la tendencia de ventas por categoria y el perfil demografico. Ajuste previo a la campana: R² = 0,94».
«La prevision de la demanda utiliza 52 semanas de datos historicos, teniendo en cuenta la estacionalidad, la cadencia de las promociones y los cambios en la distribucion».
Cuando expones las reglas, la marca puede evaluar el metodo. Cuando ocultas el metodo, la marca tiene que confiar en ti, y la confianza sin transparencia no dura.
En Footprints AI, cuando no podemos ejecutar grupos de control limpios, utilizamos metodos sinteticos transparentes y los validamos con campanas en las que hay grupos de control disponibles. Si el metodo sintetico produce estimaciones con una desviacion de menos del 10 % respecto al resultado del grupo de control en las campanas de validacion, podemos utilizarlo con confianza en campanas en las que no es posible utilizar grupos de control.
Conclusion
Cuando no se puede ejecutar una prueba/control limpio, se necesita un metodo que sea transparente y consistente. Las pruebas sinteticas ofrecen eso: un contrafactual construido estadisticamente que estima lo que habria sucedido sin la campana.
No es tan claro como un grupo de control aleatorio. Pero es mucho mejor que la comparacion previa/posterior, que confunde todos los factores externos, o que no realizar ninguna medicion.
Expone el metodo. Expone las suposiciones. Valida los resultados con los del grupo de control cuando sea posible. Y siempre da preferencia a los grupos de control reales cuando sean viables.
Lecturas relacionadas
- Paquete minimo de pruebas: el conjunto de mediciones que hace que los Shoppers renueven
- Indice de categorias: como saber si superaste a la categoria, no al calendario
- iROAS: la cifra de los Retail Media que facilita las decisiones presupuestarias
- Metrica de valor: A que debe compararse el precio de los Retail Media?
- ROAS del mismo SKU frente a ROAS de halo: dos historias de Retail Media, una verdad
Listo para ver como funciona esto en la practica?
Footprints AI ayuda a las marcas y a los Retailers a medir lo que realmente importa. Consulte nuestras historias de exito de clientes o pongase en contacto con nosotros para hablar sobre su estrategia de Retail Media.
