Los grupos de control son el estándar de referencia para medir la incrementalidad. Pero no siempre es posible utilizarlos.
Las campañas de presencia constante no cuentan con un grupo no expuesto; por su diseño, todos los Shoppers son el público objetivo. Las campañas in-store, en las que las pantallas se dirigen a todos los presentes, no pueden separar claramente a los Shoppers expuestos de los no expuestos en el mismo lugar. Es posible que las campañas a pequeña escala no tengan suficiente volumen para generar resultados estadísticamente significativos en el grupo de control.
Cuando no se puede realizar un experimento claro de prueba y control, se necesita una alternativa sintética.
No es tan buena como la real. Pero es mucho mejor que no tener ninguna medición.
Qué significa la prueba sintética
Las pruebas sintéticas construyen un escenario contrafactual, una estimación de lo que habría sucedido sin la campaña, utilizando datos históricos y métodos estadísticos en lugar de un grupo de control en vivo.
Los enfoques más comunes:
Pruebas de mercado emparejadas. Se comparan tiendas o regiones donde se llevó a cabo la campaña con tiendas o regiones similares donde no se realizó. El «grupo de control» no es una muestra asignada al azar, sino un conjunto de comparación emparejado, seleccionado por su similitud en patrones de ventas, datos demográficos y dinámicas competitivas.
Modelado de series temporales. Se elabora un pronóstico de demanda basado en datos previos a la campaña, estacionalidad, tendencias, promociones, precios y distribución. Se proyecta lo que se habría vendido durante el período de la campaña. Se compara la proyección con las ventas reales. La diferencia es el efecto estimado de la campaña.
Método de control sintético. Una combinación ponderada de unidades no expuestas (tiendas, regiones o grupos de Shoppers) que, en conjunto, se aproximan al comportamiento previo a la campaña del grupo tratado. El control sintético actúa como un gemelo construido estadísticamente.
Cada método tiene sus ventajas y desventajas. Los mercados emparejados suponen que el conjunto de comparación es verdaderamente comparable. Los modelos de series temporales suponen que el futuro sigue el patrón del pasado. Los controles sintéticos suponen que las ponderaciones estimadas a partir de los datos previos a la campaña se mantienen durante la campaña.
Cuándo utilizar métodos sintéticos
Programas permanentes en los que no existe un grupo natural no expuesto
Campañas in-store donde no es práctico utilizar zonas de control geográficas
Campañas pequeñas en las que el tamaño del grupo de control sería demasiado pequeño para ser significativo
Análisis retrospectivo cuando no se diseñó un grupo de control en la campaña original
El requisito de transparencia
Los métodos sintéticos implican suposiciones. Un informe honesto implica expresar claramente esas suposiciones:
«El control sintético se construyó a partir de 15 tiendas no expuestas, emparejadas según la tendencia de ventas por categoría y el perfil demográfico. Ajuste previo a la campaña: R² = 0,94».
«El pronóstico de demanda utiliza 52 semanas de datos históricos, tomando en cuenta la estacionalidad, la cadencia de las promociones y los cambios en la distribución».
Cuando expones las reglas, la marca puede evaluar el método. Cuando ocultas el método, la marca tiene que confiar en ti, y la confianza sin transparencia no dura.
En Footprints AI, cuando no podemos ejecutar grupos de control puros, utilizamos métodos sintéticos transparentes y los validamos comparándolos con campañas en las que sí hay grupos de control disponibles. Si el método sintético produce estimaciones con una desviación de menos del 10 % respecto al resultado del grupo de control en las campañas de validación, podemos utilizarlo con confianza en campañas donde no es factible contar con grupos de control.
En resumen
Cuando no puedes realizar pruebas de control limpias, necesitas un método que sea transparente y consistente. Las pruebas sintéticas ofrecen eso: un contrafactual construido estadísticamente que estima lo que habría sucedido sin la campaña.
No es tan preciso como un grupo de control aleatorio. Pero es mucho mejor que la comparación previa/posterior, que confunde todos los factores externos, o que no realizar ninguna medición en absoluto.
Explica el método. Explica los supuestos. Valida los resultados contra los de un grupo de control cuando sea posible. Y siempre da preferencia a los grupos de control reales cuando sea factible.
¿Listo para ver cómo funciona esto en la práctica?
Footprints AI ayuda a las marcas y a los Retailers a medir lo que realmente importa. Consulta las historias de éxito de nuestros clientes o contáctanos para hablar sobre tu estrategia de Retail Media.
