¿Las pruebas A / B ‘necesitan’ hacerse al mismo tiempo para ser válidas de acuerdo con el método científico?

Todo lo que requiere el método científico es tener hipótesis falsificables. Cualquier otra cosa puede afectar el grado de confiabilidad de sus hallazgos, pero no será poco científico.

Con respecto a las pruebas A / B (o cualquier tipo de prueba, realmente), lo esencial que tiene que estar en el fondo de su mente es un modelo. Debe saber lo que puede y no puede asumir sobre las personas involucradas en la prueba. Por ejemplo, en las pruebas A / B estándar (realizadas simultáneamente), está asumiendo que las muestras en las que está probando son representativas de todo el público objetivo, que el efecto que está probando no decae ni cambia de dirección con el tiempo (dado que su prueba tiene una duración limitada), que entre el momento en que realiza la prueba y el momento en que implementa la elección ganadora, las preferencias del cliente no cambian, etc. Estas son suposiciones que pueden estar mal, y si lo están, Los resultados de su prueba pueden no ser muy significativos. Debe verificarlos antes de confiar en sus resultados.

Ahora, si desea realizar las pruebas A y B en diferentes momentos, se está abriendo a un factor de confusión adicional (como Joshua ya señaló), que es que los eventos que ocurrieron durante una de las pruebas y no la otra pueden sesgar sus resultados. Si se convence de que esto no debería ser un factor de confusión significativo, entonces no hay nada de malo en no hacer las pruebas simultáneamente. Por supuesto, es difícil saber acerca de todos los eventos en la vida de las personas ( por ejemplo, fiestas religiosas oscuras si una fracción significativa de su audiencia pertenece a una religión con la que no está tan familiarizado).

Como conclusión, si ya tiene los datos y no puede pensar en ninguna razón por la cual los diferentes períodos de tiempo deberían afectar sus resultados, ciertamente debe seguir adelante y usarlos. Si está diseñando una prueba que va a ejecutar, hágase un favor y ejecute las pruebas A y B al mismo tiempo. La única razón para no hacerlo sería si esto fuera logísticamente mucho más difícil por alguna razón.