A/B Testing en Ecuador: Analiza qué prefieren tus usuarios

1. Variables del experimento — La variable independiente es el diseño de la página (A vs B). La variable dependiente es la tasa de conversión (porcentaje de visitantes que realizan una acción deseada, como comprar o registrarse).
2. Importancia de la aleatorización — La aleatorización garantiza que los grupos sean comparables en características no controladas (edad, ubicación, comportamiento previo). Sin ella, no podríamos atribuir las diferencias a los diseños.
3. Métrica propuesta — La métrica clave sería la tasa de conversión: $c=\frac{\text{conversiones}}{\text{visitantes}}\times 100\%$. También podríamos medir el tiempo en página o el porcentaje de rebote como métricas secundarias.
   $$c=\frac{\text{conversiones}}{\text{visitantes}}\times 100\%$$
4. Prueba estadística — Para comparar dos proporciones (tasa de conversión), usaríamos un test de proporciones de dos muestras o un test z para diferencia de proporciones. La hipótesis nula sería que no hay diferencia entre los diseños.
   $$H_0:p_A=p_B\text{vs}{H}_1:p_A\ne p_B$$

→ Variable independiente: diseño de página (A/B). Variable dependiente: tasa de conversión. Aleatorización esencial para grupos comparables. Métrica: tasa de conversión. Prueba: test z para diferencia de proporciones.

1. Diferencia absoluta — La diferencia absoluta es simplemente la resta de las tasas de conversión.
   $$\mathrm{\Delta }=p_X-p_Y=0.30-0.25=0.05$$
2. Diferencia relativa — La diferencia relativa se calcula como el porcentaje de mejora relativa de X sobre Y.
   $$\text{Diferencia relativa}=\frac{p_X-p_Y}{p_Y}\times 100\%=\frac{0.05}{0.25}\times 100\%=20\%$$
3. Interpretación — La Estrategia X (10% de descuento en horario de almuerzo) tuvo una tasa de conversión un 5 puntos porcentuales mayor que la Estrategia Y. Esto representa un 20% de mejora relativa. Sin embargo, no sabemos aún si esta diferencia es estadísticamente significativa.

→ Diferencia absoluta: 5 puntos porcentuales. Diferencia relativa: 20%. Estrategia X más efectiva con mejora del 20% en conversiones.

1. Proporción combinada — La proporción combinada se calcula como el total de conversiones dividido por el total de pedidos.
   $$\hat{p}=\frac{X+Y}{n_X+n_Y}=\frac{360+300}{1200+1200}=\frac{660}{2400}=0.275$$
2. Estadístico z — El estadístico z para diferencia de proporciones se calcula usando la fórmula con proporción combinada.
   $$z=\frac{p_X-p_Y}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_X}+\frac{1}{n_Y})}}=\frac{0.30-0.25}{\sqrt{0.275\times 0.725\times (\frac{1}{1200}+\frac{1}{1200})}}=3.05$$
3. Valor p y decisión — Para una prueba unilateral ($H_1$: $p_X$ > $p_Y$), el valor p es P(Z > 3.05). Usando tablas o calculadora, obtenemos valor p ≈ 0.0011. Como 0.0011 < 0.05, rechazamos $H_0$.
   $$P(Z>3.05)\approx 0.0011<0.05\Rightarrow \text{Rechazamos }{H}_0$$
4. Interpretación — Hay evidencia estadística suficiente para concluir que la Estrategia X (10% de descuento en almuerzo) tiene una tasa de conversión significativamente mayor que la Estrategia Y. El restaurante debería implementar la Estrategia X de manera permanente.

→ Proporción combinada: 0.275. Estadístico z: 3.05. Valor p: 0.0011. Se rechaza $H_0$: Estrategia X significativamente mejor con 95% de confianza.