¿Por qué los estudios de investigación necesitan ser replicados para verificación?

Descargo de responsabilidad: no es un estadístico, así que tome los siguientes pensamientos como los de un lector de ciencia sillón:

Las réplicas son extremadamente importantes debido a la influencia de los grados de libertad de los investigadores: “Grados de libertad de los investigadores”: modelado estadístico, inferencia causal y ciencias sociales

Cada vez que se mira un estudio que presenta una correlación estadísticamente significativa, se debe considerar el número de posibles correlaciones que los autores consideraron. A menudo esto se revela, y en buenos estudios incluso se tiene en cuenta. Sin embargo, incluso en los mejores estudios de ejecución, es muy difícil eliminar todas las fuentes de sesgo involuntario.

Como señala el cómic xkcd publicado por Madalyn, incluso entre un conjunto suficientemente grande de estudios perfectamente ejecutados, es probable que algunos, por casualidad, encuentren un resultado estadísticamente significativo.

También hay estudios que son esencialmente “expediciones de pesca” que extraen un conjunto de datos para encontrar correlaciones. Estos estudios son realmente útiles para motivar la investigación futura, pero no se pueden sacar conclusiones concluyentes de sus resultados, ya que por casualidad es probable que encuentren una correlación estadísticamente significativa en algunos pares de variables. Para este tipo de estudios, es especialmente importante realizar réplicas utilizando datos nuevos para verificar individualmente correlaciones específicas.

A menudo, el hecho de que un estudio fuera una expedición de pesca no es inmediatamente obvio cuando, por ejemplo, una variable se discretiza utilizando umbrales seleccionados / ajustados por los investigadores durante el curso de su análisis. Cuando uno diseña un estudio de manera prospectiva (es decir, al decidir exactamente cómo se analizarán los datos antes de verlos realmente), los resultados son mucho más confiables. Más información: estudios retrospectivos vs. prospectivos

En biología, el nivel estándar de significancia es (algo arbitrariamente) p <0.05. Un valor p de, digamos, .049 significa que incluso si el diseño del experimento es perfecto y la ejecución perfecta, las probabilidades son 1 en 20 de que la desviación de los datos del modelo nulo se debe al azar . O más simplemente, pero con menos precisión, el resultado tiene un 5% de posibilidades de ser falso. Idealmente, entonces, necesitamos replicar incluso experimentos perfectos por si acaso. Y los experimentos perfectos son tan comunes como las lágrimas de unicornio.

TL; DR: Necesitamos replicar experimentos para no concluir que las gominolas verdes causan acné.

xkcd: significativo, por Randall Munroe

Para verificar la fiabilidad.

A menos que su estudio abarque a toda la población objetivo (que es prácticamente imposible), es importante verificar si los resultados que arrojó su estudio no son solo la variabilidad del muestreo. Por lo tanto, es importante replicar los estudios con múltiples muestras representativas para garantizar que cada vez se obtengan resultados similares.

Si solo puede hacer algo una vez, entonces es probable que haya tenido mucha suerte. Reproducibilidad = fiabilidad. Aunque no hay garantía de que esto sea perfecto, se acerca.

Los humanos son imperfectos. La ciencia tiene un ideal de que todas las variables están controladas, excepto la que se está probando. En realidad, esto es extraordinariamente difícil de hacer. Algunas de las variables son difíciles de resolver. Al hacer que diferentes grupos repitan la prueba, algunas de las variables no controladas son diferentes. Cuando considera todos los datos de diferentes grupos, puede ver si están de acuerdo o si son diferentes. Si están de acuerdo, esto proporciona más evidencia para la hipótesis. Si difieren, esto sugiere nuevas vías a considerar para determinar por qué algunos experimentos tuvieron resultados diferentes.

De cualquier manera, ¡la ciencia funciona!