¿Por qué tantos artículos de revistas informan significación estadística pero no poder?

La significación estadística o un valor P está relacionado con nuestro diseño o modelo, que llamamos hipótesis nula, que representa, por ejemplo, nuestro objetivo del estudio que nos gustaría aceptar o rechazar.

Por otro lado, el Poder de una prueba está relacionado solo con las hipótesis de las alternativas, y aquí hay muchas preguntas: ¿Qué alternativas? ¿Cuál es su modelo de comportamiento? ¿En qué se diferencian de la hipótesis nula? ¿Cómo caracterizar varias alternativas? En general, estas preguntas son difíciles de responder.

Entonces, debido a que a menudo es difícil tener la información requerida relacionada con la Hipótesis alternativa, el Poder de una prueba no es una medida famosa en las pruebas estadísticas. Además, en las comunidades de estadísticos, no todos estaban de acuerdo con ese enfoque (hipótesis alternativa).

Me gustaría notar también que un valor P, o significación estadística, no proporciona una buena medida de evidencia con respecto a un modelo o hipótesis. Sin embargo, puede revelar cuán incompatibles son los datos con una hipótesis específica o modelo estadístico.

Recientemente, ASA ha publicado una declaración sobre la significación estadística y los valores P, en la que se observa que los estadísticos a menudo complementan o incluso reemplazan los valores p con otros enfoques que “enfatizan la estimación sobre las pruebas como la confianza, la credibilidad o los intervalos de predicción; Métodos bayesianos “, y etc.

Porque la gente es tonta con las estadísticas. Nos quedamos atrapados con la idea de la importancia porque era útil en lo que hizo Ronald Fisher y Fisher se convirtió en una especie de Dios del análisis de datos. Lo mismo es cierto para el poder. Y Fisher usualmente usó p de 0.05 porque en su mayoría tenía muestras pequeñas y, sin embargo, estaba interesado en efectos bastante pequeños. Y una potencia de 0.2 porque en la mayoría de su trabajo, el error tipo I fue peor que el error tipo II.

Pero … en mucho trabajo, diría que realmente no deberíamos mirar las estadísticas. Y el poder a menudo tampoco tiene sentido. En ciencias sociales, a menudo sabemos que hay un efecto, por lo que no hay posibilidad de un error tipo I en absoluto. Estamos interesados ​​en cuán grande es el efecto. Entonces queremos ver el poder no de la manera habitual (de encontrar importancia) sino en términos de qué tan bien podemos estimar el efecto.

En algunos campos en estos días tenemos N en millones o miles de millones. Una vez más, sig sig se vuelve algo tonto … tendremos p <0.01 con el efecto más pequeño, mucho más pequeño de lo que realmente nos importa.

Pero hacerlo bien requiere pensar. Eso es mucho más difícil que seguir las reglas.

Porque los estadísticos no escriben la mayoría de los trabajos académicos.