La ciencia lleva 100 años utilizando un parámetro clave porque un señor no quiso pagar por unas tablas

Los investigadores no están exentos de ciertos usos y costumbres sin mucho más trasfondo que el histórico. Este es el caso de un clásico, el nivel de significatividad del 95%. El 95 no es un número mágico que convierte una medida en correcta o no. Entonces, ¿por qué investigadores de todo el mundo las utilizan como si fueran la frontera de la verdad? La respuesta parece ser que por costumbre. Una costumbre con cien años de antigüedad, su origen: una disputa por derechos de autor.

[#1 clavícula]

En los resultados de cierto análisis de datos genómicos para un investigador, salía un mismo gen con dos valores-p (el gen aparecía representado dos veces en la tabla): p=0.04 y p=0.06. El investigador me llamó totalmente desconcertado porque le parecía imposible que, dependiendo de la medida, el mismo gen diera un resultado positivo y un resultado negativo. Le expliqué que la frontera del p=0.05 no tenía sentido biológico, sino que se usaba por motivos históricos, que no era un muro infranqueable y que la interpretación final del resultado dependía del contexto del proyecto.

Reducir la relevancia de un resultado a unos pocos umbrales "fijos" tenía sentido en una época en la que, calcular el valor p concreto para cada experimento (sin calculadoras electrónicas) era una tarea compleja. Era mucho más sencillo calcular el estadístico (por ejemplo, un t-test) y, comprobar si su valor (t) era superior o inferior al necesario para superar p=0.05, p=0.01 o p=0.001, pre-calculados en los libros para distintos grados de libertad (número de repeticiones de cada muestra). Hoy en día, calcular el valor p exacto para cada caso es sencillo. Sin embargo, lamentablemente, se siguen usando umbrales fijos, clásicos, pero sin significado "natural", para decidir si un resultado es verdadero o falso. Sin matices.

Cuando todos discutíamos si las vacunas contra la COVID-19 eran fiables o no, en realidad mirábamos los valores p obtenidos, basados en las combinaciones de números de voluntarios contagiados / no contagiados / vacunados / placebo. La gente quería saber si, según los números, las vacunas eran ciertamente fiables o no. A pesar de que los valores-p obtenidos fueron muy bajos (muy favorables), sobre todo para las vacunas mRNA, la respuesta solo podía darse en términos de probabilidad, no de certezas. No poder afirmar rotundamente, con un 100% de probabilidad, que las vacunas nos iban a proteger, dio argumentos a los negacionistas y a los que decían que era imposible que las vacunas se hubieran desarrollado tan rápido con garantías.

Perdón por el tocho.

[#2 Gilbebo]

Creo que la explicación del valor de probabilidad (p value) del artículo deja margen de mejora.

Un intento: es la probabilidad de obtener una diferencia tan grande (o más) como la que has obtenido entre tus muestras asumiendo que en la realidad no hay diferencia alguna. Por ejemplo entre las alturas promedio de los jóvenes de 2 ciudades.

Si ese p-value es de 0.34 te está diciendo que una diferencia tan alta o más que la que has encontrado te aparecería un tercio de las veces escogiendo…   

[#5 guaperas]

#2 el valor p sirve si tienes dos muestras distintas y haces la misma hipótesis estadística a las dos.

Si te sale un valor p de 0,05 significa que hay un 95% de probabilidad de que la misma hipótesis no funcione para las dos muestras. Ojo no quiere para nada decir que la hipótesis sea verdadera para una y para la otra falsa o para las dos falsas o para las dos verdaderas, o que sea una buenas o mala hipótesis.. simplemente te dice estadísticamente que no te vale la misma hipótesis…   

[#9 Gilbebo]

#5 La hipótesis estadística que haces, por defecto, es que ambas muestras provienen de una distribución de igual promedio. Es decir que la diferencia esperada de sus medias es nula (ídem si fuesen proporciones).

Si hay tal diferencia (de nivel de insulina) que el p value es 0.02 entonces te está diciendo que SI su diferencia real fuese 0 solo hay un 2% de probabilidades de que te salgan 2 valores tan distintos con lo que te invita a considerar que son seguramente valores de insulina diferentes en la realidad (por el motivo que sea).

[#14 guaperas]

#9 es otra interpretación, por otra parte el valor p es un parámetro estadístico pero no tiene porque siempre provenir de una distribución donde se pruebe la diferencia entre sus medias o promedio, ese caso es el de por ejemplo una prueba de tipo t de Student que sí se aplica cuando la distribución que sigue la muestra es una distribución normal. Pero existen otros tipos de pruebas como ji cuadrado que son útiles cuando a priori no sabes que tipo de distribución tienes (ni…   

[#10 afr]

#2 #5 Seguramente lo sepáis, pero no siempre se puede hablar de estadística por aquí . Me voló la cabeza que, en caso de ser cierta la hipótesis nula (H0), el p-value es uniformemente distribuido entre 0 y 1. Es decir, si H0 es cierta... es igualmente probable que te salga 0.01 que 0.887. Claro está, que justo te caiga en ese p < 0.05.... ya sería mala suerte, precisamente esa mala suerte es la interpretación de la probabilidad de cometer el falso rechazo de H0.

Lo que me queda claro con todo esto es la importancia de replicar experimentos.

[#15 guaperas]

#10 pero es que rechazar la hipótesis nula también es una interpretación estadística. La pregunta es, ¿como sabemos si es cierta la hipótesis nula? En realidad no lo sabemos por eso en una distribución uniforme nos fiamos de la estadística.

Pero es que en el caso de que lo supiéramos, no tendría absolutamente ningún sentido hacer una prueba estadística, porque ya sabemos lo que hay.

De hecho se rechaza la hipótesis nula porque consideramos poco probable que siendo cierta la hipótesis nula…     

[#21 afr]

#15 "pero es que rechazar la hipótesis nula también es una interpretación estadística. La pregunta es, ¿como sabemos si es cierta la hipótesis nula?"

A ciencia cierta 100% nunca... no sé cuándo he dado a entender lo contrario. Ahora bien, si replicamos un experimento hasta la extenuación, y vemos que la distribución del valor de p es uniforme... es un buen indicio. Cuando hablo de la distribución, me refiero a la distribución de p, no de la variable objeto de estudio.

De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0.

[#23 guaperas]

#21 si, si lo decía porque esa era la autentica pregunta que queremos hacernos

De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0

Así es, pero eso no es algo propio a la estadística. Es la propia ciencia en si misma, en sus propios fundamentos, la que es así.

Por ejemplo no se dice que (a) la relatividad de Einstein sea verdad. Lo que se dice…   

[#13 oLiMoN63]

#2 Creo que la explicación del valor de probabilidad (p value) del artículo deja margen de mejora
Muy de acuerdo.

[#3 Gilbebo]

#2 *hay una ciudad

[#4 Maddoctor]

#1 Qué recuerdos de tesis ais...

[#11 oLiMoN63]

#1 Le expliqué que la frontera del p=0.05 no tenía sentido biológico, sino que se usaba por motivos históricos, que no era un muro infranqueable y que la interpretación final del resultado dependía del contexto del proyecto.
También pudiste haberle explicado (o recordado) el concepto de error de tipo I y tipo II.

[#8 antares_567]

#1 bueno. Es que te estas quedando en la p.
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas. Es decir un resultado puede ser estadísticas enteras significativo pero el medicamento nuevo sólo salva a 1 paciente. Con lo que las diferencias clínicas son escasas.
En los estudios vacunales falla la interpretación de la estadística no porque no se conociese que es el p valor, sino porque no se entendieron los resultados que se estaban exponiendo (porque esos resultados no se exponen para el público general)

[#12 oLiMoN63]

#8 bueno. Es que te estas quedando en la p.
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas.
En todas las disciplinas, no sólo en medicina, se debe informar de las significación estadística (valor p) y del tamaño del efecto (valor d, o similar)

[#17 antares_567]

#12 ne imagino. Yo hablo de mi libro, que es lo que se

[#6 Verbenero]

Hace cosa de un año alguien escribió una carta a Nature hablando de la tiranía del 0.95 y de que había que liberarse y ver el Contexto de cada análisis... Al pobre casi se lo comen vivo
El 0.95 o similares (0.01, 0.001) vivirán para siempre porque los que cortan el bacalao en ciencia es lo que conocen y lo que usaron para llegar a donde están.

[#7 M.Peluca]

Mira que me costaba entender lo de los contrastes de hipótesis en un primer momento, luego es una chorrada.

[#16 espinor]

Me parece increíble que aún no lo haya puesto nadie:

xkcd.com/882/

[#20 Gilbebo]

#16 Este lo explico en clase

[#22 espinor]

#16 Y hay hasta una página de la Wikipedia dedicada a los malos usos del p-value:

en.wikipedia.org/wiki/Misuse_of_p-values

[#18 manutebolas]

Como no puede ser de otra manera, el p valor está explicado mal, cayendo en una tipiquísima confusión que parece que solo morirá cuando muera el p valor.

El p valor no dice nada sobre la probabilidad del valor real del parámetro; para eso tiene que hacer una aproximación bayesiana. El p valor habla sobre la probabilidad de los datos observados; en el ejemplo, donde hay una medida positiva pero el valor real podría ser cero, el p valor es la probabilidad de encontrar esa medida positiva o más…   

[#19 manutebolas]

#18 La buena noticia es que los p valores se están abandonando en las publicaciones científicas. La mala es que se están sustituyendo por intervalos de confianza, que como no puede ser de otra manera se interpretan mal por los mismo motivos que se hacía con los p valores: que la estadística frecuentista es inherentemente una técnica contraintuitiva.

[#24 --149313--]

#19 Podrías desarroyarlo o dar algun link para leerlo, porque es erroneo no tener conocimiento a priori? Quiero decir, qué pasa si no lo tienes?

[#25 manutebolas]

#24 es erroneo obcecarse en no necesitar conocimiento a priori, que es el motivo por el que se desarrolló la aproximación frecuentista hace 100 años. Y esto fue porque se entendia que asumir un modelo a priori era introducir un elemento subjetivo, mientras que la ciencia tiene que ser objetiva. Y para evitar esto se desarrollaron una serie de técnicas para decir cosas sobre un parámetro desconocido sin decir cosas sobre un parámetro desconocido. Porque la aproximación frecuentista en general…