A/B Testing en Ecuador: Ejercicios para optimizar con datos

1. Cálculo de tasas — Calcula la tasa de conversión para cada variante dividiendo el número de ventas entre el número de visitantes. Expresa los resultados en formato decimal.
   $${\hat{p}}_A=\frac{120}{1000}=0.12\text{y}{\hat{p}}_B=\frac{150}{1200}=0.125$$
2. Comparación — Compara los valores obtenidos para determinar cuál variante tiene mayor tasa de conversión.
   $$0.125>0.12\Rightarrow \text{La variante B tiene mayor conversión}$$

→ La variante B tiene una tasa de conversión de 12.5% frente al 12% de la variante A.

1. Tasas de conversión — Calcula la tasa de conversión (pedidos/clientes) para cada variante.
   $${\hat{p}}_A=\frac{80}{2000}=0.04\text{y}{\hat{p}}_B=\frac{100}{2000}=0.05$$
2. Diferencia observada — Determina la diferencia absoluta entre las tasas de conversión.
   $$\text{Diferencia}={\hat{p}}_B-{\hat{p}}_A=0.05-0.04=0.01$$

→ La variante B (botón rojo) tiene una tasa de conversión de 5% frente al 4% de la variante A, con una diferencia de 1 punto porcentual.

1. Tasas iniciales — Calcula las tasas de conversión para cada variante.
   $${\hat{p}}_A=\frac{600}{5000}=0.12\text{y}{\hat{p}}_B=\frac{650}{5000}=0.13$$
2. Tasa combinada — Calcula la tasa combinada de conversión usando todos los datos.
   $${\hat{p}}_{p}ooled=\frac{600+650}{5000+5000}=\frac{1250}{10000}=0.125$$
3. Estadístico z — Calcula el estadístico z para la diferencia de proporciones.
   $$z=\frac{0.13-0.12}{\sqrt{0.125(1-0.125)(\frac{1}{5000}+\frac{1}{5000})}}=\frac{0.01}{\sqrt{0.125\times 0.875\times 0.0004}}=\frac{0.01}{0.006614}\approx 1.51$$
4. Comparación con valor crítico — Compara el valor absoluto de z con el valor crítico para α=0.05 (prueba bilateral).
   $$|1.51|<1.96\Rightarrow \text{No se rechaza }{H}_0$$

→ No hay evidencia estadística suficiente (p-valor > 0.05) para afirmar que el botón morado aumenta la conversión frente al naranja en Quito.

1. Tasas de conversión — Calcula las tasas de conversión para cada variante.
   $${\hat{p}}_A=\frac{180}{3000}=0.06\text{y}{\hat{p}}_B=\frac{200}{3000}=0.0667$$
2. Diferencia puntual — Calcula la diferencia puntual entre las tasas.
   $$\text{Diferencia}={\hat{p}}_B-{\hat{p}}_A=0.0667-0.06=0.0067$$
3. Error estándar — Calcula el error estándar de la diferencia de proporciones.
   $$SE=\sqrt{\frac{0.06(1-0.06)}{3000}+\frac{0.0667(1-0.0667)}{3000}}=\sqrt{0.0000188+0.0000208}=\sqrt{0.0000396}\approx 0.0063$$
4. Límites del intervalo — Calcula los límites del intervalo de confianza del 95%.
   $$IC=0.0067\pm 1.96\times 0.0063=[0.0067-0.0124,0.0067+0.0124]=[-0.0057,0.0191]$$

→ El intervalo de confianza del 95% para la diferencia de tasas de conversión es [-0.57%, 1.91%]. Como incluye el cero, no hay evidencia estadística de que una variante sea mejor que la otra.

1. Parámetros — Define los parámetros necesarios para la fórmula.
   $$p_1=0.08\text{y}{p}_2=0.08+0.01=0.09$$
2. Cálculo intermedio — Calcula los componentes dentro de la raíz cuadrada.
   $$2p(1-p)=2\times 0.08\times 0.92=0.1472$$
3. Componente de potencia — Calcula el componente relacionado con la potencia del test.
   $$p_1(1-p_1)+p_2(1-p_2)=0.08\times 0.92+0.09\times 0.91=0.0736+0.0819=0.1555$$
4. Tamaño de muestra — Aplica la fórmula completa para calcular n.
   $$n=\frac{{(1.96\times \sqrt{0.1472}+0.84\times \sqrt{0.1555})}^2}{{0.01}^2}=\frac{{(1.96\times 0.3837+0.84\times 0.3943)}^2}{0.0001}=\frac{{(0.752+0.331)}^2}{0.0001}=\frac{{1.1705}^2}{0.0001}=13699$$

$$n\approx 13700$$

→ Se necesitan aproximadamente 13 700 usuarios por variante para detectar una diferencia del 1% con 95% de confianza y 80% de potencia.

1. Tasas de conversión — Calcula las tasas de conversión para cada variante.
   $${\hat{p}}_A=\frac{250}{5000}=0.05\text{y}{\hat{p}}_B=\frac{240}{5000}=0.048$$
2. Tasa combinada — Calcula la tasa combinada usando todos los datos.
   $${\hat{p}}_{p}ooled=\frac{250+240}{5000+5000}=\frac{490}{10000}=0.049$$
3. Estadístico z — Calcula el estadístico z para la diferencia de proporciones.
   $$z=\frac{0.05-0.048}{\sqrt{0.049(1-0.049)(\frac{1}{5000}+\frac{1}{5000})}}=\frac{0.002}{\sqrt{0.049\times 0.951\times 0.0004}}=\frac{0.002}{0.00485}\approx 0.412$$
4. Valor p — Calcula el valor p para una prueba bilateral usando el estadístico z calculado.
   $$P(Z>0.412)\approx 0.3398\Rightarrow \text{valor p}=2\times 0.3398=0.6796$$

→ El valor p es aproximadamente 0.68, que es mucho mayor que 0.05. Por lo tanto, no se rechaza la hipótesis nula a pesar de que la variante A tuvo un 5% de conversión frente al 4.8% de la B.

1. Ingresos por variante — Calcula el ingreso total para cada variante y luego el ingreso por visitante.
   $${\text{Ingreso}}_A=\frac{5\times 200}{1000}=1.00\text{ USD/visitante}\text{y}{\text{Ingreso}}_B=\frac{6\times 180}{1000}=1.08\text{ USD/visitante}$$
2. Ingreso incremental — Calcula la diferencia en ingresos por visitante entre las variantes.
   $$\text{Ingreso incremental}=1.08-1.00=0.08\text{ USD/visitante}$$

→ La estrategia de precio de $6genera$1.08 por visitante frente a $1.00delaestrategiade$5, con un ingreso incremental de $0.08porvisitante.Porlotanto,elpreciode$6 es mejor para maximizar ingresos.

1. Tasas post-clic — Calcula la tasa de conversión post-clic para cada variante.
   $${\text{Tasa}}_A=\frac{30}{120}=0.25\text{y}{\text{Tasa}}_B=\frac{35}{150}=0.233$$
2. Ganancias — Calcula la ganancia total para cada variante.
   $${\text{Ganancia}}_A=30\times 10=300\text{ USD}\text{y}{\text{Ganancia}}_B=35\times 10=350\text{ USD}$$
3. Costos — Calcula el costo total para cada variante.
   $${\text{Costo}}_A=120\times 0.20=24\text{ USD}\text{y}{\text{Costo}}_B=150\times 0.20=30\text{ USD}$$
4. ROI — Calcula el ROI para cada variante.
   $$RO{I}_A=\frac{300-24}{24}=11.5\text{y}RO{I}_B=\frac{350-30}{30}=10.67$$

→ La variante A (imagen de café en grano) tiene mejor desempeño con una tasa de conversión post-clic del 25% y un ROI del 1150%, frente al 23.3% y 1067% de la variante B.

1. Distribución equitativa — Calcula la distribución inicial equitativa de usuarios entre las tres variantes.
   $$n_A=n_B=n_C=\frac{15000}{3}=5000$$
2. Verificación de potencia — Explica por qué esta distribución debería mantener la potencia deseada para detectar diferencias del 2%.
   $$\text{Con }n=5000\text{ por variante, la potencia para detectar }\mathrm{\Delta }=0.02\text{ es aproximadamente 0.90 con }\alpha =0.05$$
3. Recomendación final — Propón la distribución final de usuarios.
   $$Distribuci\acute{o}nrecomendada:VarianteA=5000usuarios,VarianteB=5000usuarios,VarianteC=5000usuarios$$

→ Se recomienda distribuir los 15 000 usuarios equitativamente: 5000 para cada variante (A, B y C). Esto permite detectar una diferencia del 2% con 95% de confianza y 90% de potencia.