1) Tenga una hipótesis concreta incluso antes de comenzar a experimentar. No solo eso, sino también saber cómo será un buen resultado. No solo ejecute una prueba A / B, mida todo y busque cualquier cosa que sea estadísticamente significativa. Esa es una buena manera de obtener falsos positivos. Quiero decir, si mides 20 eventos, con p <= 0.05, hay una buena probabilidad de que obtengas una métrica que sea aleatoriamente significativa, ¿verdad? Entonces, la clave aquí es asegurarse de saber cómo debería ser el resultado correcto antes de comenzar.
2) Rastrear todo el embudo. Supongamos que está probando ideas para aumentar la conversión en el botón “Agregar al carrito”. Asegúrese de que no solo realiza un seguimiento de las conversiones en ese botón, sino de cada punto de conversión en el flujo de pago. Todos los resultados juntos deberían contar una historia. Si los resultados tienen sentido, puede pensar de manera más confiable que no es aleatorio.
3) iterar. Una vez que tenga un resultado, cree el siguiente experimento lógico. La aleatoriedad no resistirá la prueba de iteración. Existe una gran posibilidad de que cualquier experimento sea significativo, pero si también prueba todas las diferentes formas de abordar esa hipótesis, hay muchas menos posibilidades de que muchas pruebas le den el mismo resultado aleatorio. Por ejemplo, tal vez piense que al contarle a la gente sobre cuán seguro es su pago (como lo hizo KAYAK aquí: la prueba A / B más interesante de KAYAK), ejecuta una prueba en la que prueba que tener una copia dice algo como “No se preocupe, su la información está segura con nosotros “en lugar de no tener la copia en absoluto. Si la copia funciona mejor, puede pasar a probar una copia diferente con el mensaje de seguridad. Si todas sus pruebas son teóricamente consistentes entre sí, puede decir con mayor seguridad que no es aleatorio.
- ¿Cuál es la visión de la ciencia sobre la suerte?
- "La realidad es meramente una ilusión, aunque muy persistente". ¿Qué quiso decir Albert Einstein aquí?
- ¿Cuántos disyuntores hay en un 737?
- ¿Cómo siguen subiendo los globos de helio cuando la gravedad los empuja hacia abajo?
- Para generar señales hasta la frecuencia, ¿qué controlador debo usar, Arduino UNO o PIC?
Al final del día, no puede garantizar que cualquier prueba sea 100% precisa. Realmente tiene que sopesar el costo de saber con mayor confianza contra el riesgo de estar equivocado (lea más aquí: Cuándo NO debe probar su aplicación móvil A / B). Con algunas pruebas, el riesgo es bajo. Incluso si no obtiene un resultado estadísticamente significativo, es posible que tenga razones para elegir la variante A o B de todos modos (esto le sucedió a Airbnb: Experimentos en Airbnb – Ingeniería de Airbnb). Como experto en pruebas, depende de usted decidir cuáles son los riesgos y las ventajas.
Oo … una última cosa que la gente hace. Ejecute pruebas A / A para desarrollar la intuición en torno a los experimentos. Aquí hay un artículo sobre cómo lo hace Khan Academy: cómo Khan Academy utiliza las pruebas A / B para mejorar el aprendizaje de los estudiantes.
