Test A/B

Cómo funciona

1. Hipótesis: «Si mostramos el precio en la home, aumentarán las demos cualificadas, porque los visitantes sabrán si encaja en su presupuesto».
2. Métrica principal, elegida antes de empezar.
3. Tamaño de muestra: cuántas visitas hacen falta para detectar la diferencia esperada. Se calcula antes del test.
4. Reparto aleatorio del tráfico entre la versión A (control) y la B (variante).
5. Análisis cuando se alcanza la muestra prevista, no antes.

Errores frecuentes

• Mirar los resultados cada día y parar al ver un ganador. Es el error más conocido y dispara la probabilidad de falsos positivos. Evan Miller lo explicó en su artículo «How Not To Run an A/B Test».
• Muestras demasiado pequeñas: con pocas conversiones, las diferencias son ruido.
• Duraciones cortas: conviene cubrir semanas completas, porque el comportamiento cambia entre días laborables y fines de semana.
• Cambiar muchas cosas a la vez sin poder saber cuál produjo el efecto, salvo que se plantee como test multivariante.
• Medir solo clics y no si las conversiones acaban en ventas.

Con poco tráfico

Muchas webs B2B no tienen tráfico suficiente para detectar mejoras pequeñas. En ese caso:

• Probar cambios grandes, como otra propuesta de valor u otra estructura de página, cuyo efecto, si existe, es más fácil de detectar.
• Usar métricas más frecuentes, como los clics en la CTA, sabiendo que son una aproximación.
• Complementar con métodos cualitativos: pruebas de usabilidad, entrevistas, grabaciones de sesión.

Herramientas

Google Optimize, la opción gratuita más extendida, dejó de funcionar el 30 de septiembre de 2023. Hoy se usan herramientas como VWO, Optimizely o AB Tasty, o funciones integradas en el CMS y en las plataformas de analítica de producto.

Términos relacionados

• Tasa de conversión
• Mapa de calor (heatmap)
• Quick win
• Landing page

Fuentes

• Evan Miller, How Not To Run an A/B Test y su calculadora de tamaño de muestra.