Pregunta:
Siguiendo el ASA reciente y otros comentarios sobre los valores p y sin usar el término "estadísticamente significativo", ¿cuál es la recomendación para presentar los resultados de un análisis?
Por ejemplo, después de hacer una prueba t, debido a la forma en que me enseñaron, diría algo como "p = 0.03, el resultado fue estadísticamente significativo" (asumiendo que había establecido el nivel de significancia en 0.05). ¿Todo lo que necesito hacer ahora es simplemente indicar 'p = 0.03' y posiblemente incluir un intervalo de confianza?
Respuesta:
No creo que la objeción sea solo al término "estadísticamente significativo", sino al abuso de todo el concepto de prueba de significancia estadística ya la mala interpretación de los resultados que son (o no) estadísticamente significativos.
En particular, mire estas seis declaraciones:
- Los valores p pueden indicar cuán incompatibles son los datos con un modelo estadístico específico.
- Los valores P no miden la probabilidad de que la hipótesis estudiada sea cierta, o la probabilidad de que los datos se hayan producido solo por azar.
- Las conclusiones científicas y las decisiones comerciales o políticas no deben basarse únicamente en si un valor p supera un umbral específico.
- La inferencia adecuada requiere informes completos y transparencia.
- Un valor p, o significación estadística, no mide el tamaño de un efecto o la importancia de un resultado.
- Por sí mismo, un valor p no proporciona una buena medida de evidencia con respecto a un modelo o hipótesis.
Por lo tanto, recomiendan una forma más completa de hacer e informar el análisis que simplemente dar un valor p, o incluso un valor p con un CI. Creo que esto es sabio y no creo que deba ser controvertido.
Ahora, pasando de su declaración a mis propios puntos de vista, diría que a menudo no deberíamos mencionar el valor p en absoluto. En muchos casos, no proporciona información útil. Casi siempre, sabemos de antemano que la nula no es exactamente verdadera y, con bastante frecuencia, sabemos que ni siquiera se acerca a la verdad.
¿Qué hacer en su lugar? Recomiendo encarecidamente los criterios MAGIC de Robert Abelson: Magnitud, Articulación, Generalidad, Intereses y Credibilidad. Digo mucho más sobre esto en la publicación de mi blog: Estadísticas 101: Los criterios MAGIC .
(Mis puntos de vista, a diferencia de los de la ASA, son controvertidos. Mucha gente no está de acuerdo con ellos).