Blog del biólogo Javier Yanes| El CSIC ha desarrollado un test serológico para detectar anticuerpos contra el SARS-CoV-2, que podrá adaptarse tanto para un ensayo de laboratorio más preciso como en los test directos al consumidor, los llamados test rápidos. El CSIC ha explicado que el test tiene al menos “un 98% de fiabilidad”, y esto es estupendo. Pero en algunos medios se ha dicho que la fiabilidad del test es casi del 100%. Y esto no es cierto. Como aquí se explica, un test fiable al 98% puede dar más de una cuarta parte de falsos positivos.
|
etiquetas: covid-19 , test , ciencia , divulgación , csic , test , sars-cov-2 
Si da 1/4 (0,25) de falsos positivos no me salen las cuentas.
Logicamente soy un meneante tipo, que no se ha leido el articulo, solo la entradilla.
Por otro lado, lo de que los únicos que nos sacarán de la crisis son los científicos es verdad de cierto modo, pero quiero dar las gracias a los que nos han mantenido vivos:
*los sanitarios y otro personal de hospitales y centros sanitarios en general
*los que han cultivado la tierra para que comamos, los que han transportado esos alimentos, los que los han servido en las tiendas.
*todo el personal de limpieza que ha mantenido los lugares críticos desinfectados
*aquellos que han mantenido las infraestructras de comunicación
* todos los que se han tomado en serio seguir las medidas de precaución adecuadas a pesar de que a veces se les hayan hecho muy duras.
98 infectados correctamente diagnosticados
2 infectados diagnosticados como sanos (falso negativo)
97902 no infectados correctamente diagnosticados
1998 no infectados incorrectamente diagnosticados (falso positivo)
Entonces tendrias 2096 positivos, de los cuales el 95% serían falsos positivos, haciendo que a pesar de tener una efectividad del 98% el test sea practicamente inutil.
- (48000000 - 100) * 0,001 / 100 = 480 personas dan positivo sin tener al enfermedad
- 100 * 99,999 / 100 = 100 personas dan positivo teniendo la enferdad
En resumen, haciendo el test sin hacer antes una criba, es más probable que no tengas la enferdad a que la tengas, ya que en este caso el 82% serán falsos positivos.
En la segunda cajita, te hace los cálculos
Es decir, para 10.000 test con 500 infectados reales, tendrías 490 detectados, 10 que dan un falso negativo y 190 falsos positivos. De ahí que diga que detecta en total 490+190= 680 positivos cuando hay 500 así que un 28% de los positivos informados serían falsos positivos. Solamente un 1.9% de los que se hacen un test y no tiene el virus da positivo. Por eso es tendencioso, da a entender que tienes 1/4 posibilidades de que te casquen un falso positivo. No, el test acierta el 98% de las veces, si no tienes el virus tienes un 2% de probabilidades de que te de un falso positivo y si lo tienes, tienes un 2% de probabilidades de que no lo detecte. Lo demás es rizar el rizo.
De todas formas:
1) me preocupan más los 10 que son falsos negativos
2) se pueden hacer otras pruebas de contraste. Al menos vale como criba.
Pero no es que se hacen 10,000 test y 2.500 son falsos positivos a cañón.
La verdad es que me llama la atención que estemos así a estas alturas. Pensé que este tipo de investigaciones llevaría menos tiempo y más con medio planeta con el virus.
"verdaderos positivos" = TP = Realmente es sí, y el clasificador ha contestado sí
"verdaderos negativos" = TN = Realmente es no, y el clasificador ha contestado no
"falsos positivos" = FP = Realmente es no, pero el clasificador ha dicho que sí
"falsos negativos" = FN = Realmente es sí, pero el clasificador ha dicho que no
Ahora haces tus pruebas, supón que era lo de comparar dos fotos... digamos que tienes 10 fotos de cada persona de un total de 100 personas, es decir, 1000 fotos. El problema aquí es que dada una foto de una persona, solamente se espera un positivo de 10, y un negativo de 990... lo mismo pasa con el covid, hay muchos más verdaderos negativos que verdaderos positivos.
Con esos 4 números, puedes comenzar a hacer tus medidas estadísticas. La primera que se te ocurre es la "precisión", ¿qué es la precisión? La capacidad de acertar el "verdadero positivo", y se calcula como TP/(TP + FP). Este test tiene una precisión del 98%, así que acierta el verdadero positivo un 98% de las veces.
El problema es que la precisión, estadísticamente, y con perdón de mi vocabulario, es una puta mierda. Si yo en un clasificador tengo una precisión del 99% aún así me dirán en mi empresa "¿y?". Porque puedo tener un 99% de precisión y aún así fallar el 50% de las veces
Así que hay otras medidas estadísticas
Accuracy: Esta es la más intuitiva, y sí tiene en cuenta los negativos, sería (TP+TN)/(TP+FP+FN+TN), es decir, cuántas veces has acertado el sí y el no sobre el total de muestras.
Recall (Sensibilidad): TP/(TP+FN) Nos indica cuán bien predice los casos realmente verdaderos, con su proporción sobre los que no.
Y luego a partir de estas hay una medida estadística que sí es la que normalmente te piden en un estudio de este tipo: el F1-score. El F1-score es la media ponderada de precisión y recall, con lo cual tiene en cuenta las cuatro medidas que hemos tomado. Es la medida a tomar y tener en cuenta cuando tienes una distribución que no está balanceada, como es nuestro caso, es decir, cuando hay tantos positivos como negativos en nuestra muestra, el F1-score y la precisión serán muy parecidos, pero en un caso como el del covid dónde hay un 5% de positivos y un 95% de negativos... la precisión es una medida de mierda, y la buena es el f1-score. Se calcula como:
F1-Score = 2*(Recall * Precision) / (Recall + Precision)
No se ha hecho un test global con la gente que le gusta el yogurt y por tanto el número de personas del segundo test (50) es totalmente arbitrario, lo has elegido tú. Además aplicas dos tests. Yogur caducado y yogur no caducado. En este caso se aplica un test a un grupo de personas del que sabes con certeza estadística cuántos han pasado la enfermedad y cuántos no.
¿Que podría salir mal?
Si tiene falsos positivos y falsos negativos, para mi, en este caso concreto el test tiene una fiabilidad del 99,998%.
Repito, para mi, fiabilidad es que acierta, me da igual en que sentido.
Y 1/4 es un 1/4 sea de 48 millones o 4 personas.
La probabilidad (%) no varia si la muestra es grande o pequeña. Los numeros absolutos si son distintos.
No es lo mismo que un test de virus activo, que haría que alguien creyera no estar infectado.
El tema es que si un porcentaje de los clientes de un super se compra un pollo y hay un 28% de pollos premiados, la probabilidad de que te toque premio no es el 28% sino la probabilidad de que te compres el pollo multiplicada por la probabilidad de que toque premio en pollo, y eso es un 2%, no un 28%. Sigue habiendo un 28% de pollos premiados, pero solo toca al 2% de los clientes.
Por lo menos ese ha sido el protocolo en mi ofi.
Y así de simple lo vuelvo a decir: la precisión es la peor de todas las medidas estadísticas. Son científicos, deberían haber hecho un estudio incluyendo el F1-score y el recall. Tampoco les culpo, muchas veces no es culpa de ellos sino de los periodistas que publican a su bola... me gustaría encontrar el paper sobre sus resultados para ver las verdaderas medidas estadísticas.
Cuando el test falla en un positivo implica un falso negativo y cuando falla en un negativo sería falso positivo, pero 1% de unos + 1% de otros es el 1% del total.
Si la efectividad es del 98%, el 98% de los analizados son identificados correctamente. Se acabó.
Si, como dice el artículo, existe la posibilidad de que detecte el 98% de los positivos pero dé como falso positivo el 75% evidentemente no es lo mismo que decir que la efectividad es del 75%, algo que no se dice en el artículo.
Lo que hace el artículo es cambiar la referencia, por lo que en el segundo cálculo ya no habla de lo mismo que en el primero.
Para que se entienda lo que digo. Si tengo una tienda y decido engañar a la gente subiendo los precios un 20% para anunciar unas rebajas del 20%, lo que ocurrirá es que un artículo que inicialmente tenía un precio de 100 pasará a valer 120, pero al rebajar el 20% lo venderá por 96, perdiendo un 4%. A mucha gente le parecerá raro en un primer momento. Pero nunca hay que olvidar que se ha cambiado de referencia, inicialmente era 100 pero después era 120.
Aquí pasa lo mismo, inicialmente es toda la población, y sale un 98% de fiabilidad, pero luego se pone a investigar exclusivamente con los que deberían haber dado positivo, dato desconocido. No podemos hacer test a los que deberían haber dado positivo para saber si da positivo.
De hecho, como protocolo para ir a la oficina no tiene sentido que te hagan solo PCR si tienes anticuerpos, porque puedes estar en la cresta de tu infección y no dar positivo en anticuerpos.
Bueno, así más o menos lo entiendo...
#42 Imagínate que hablamos de SIDA prefiero mil veces acostarme con un falso positivo y poner mil precauciones que con un falso negativo y no defenderme tanto.
gacetamedica.com/investigacion/como-funcionan-y-en-que-se-diferencian-
Edito y añado:
www.65ymas.com/salud/rapidos-pcr-serologicos-guia-definitiva-test-coro
Esto sí parece que concuerda con lo decía. Y todo concuerda, también, con que los medios lo han liado, incluyendo la gaceta "médica" esa...
Por otro lado, si te dan resultado negativo y estás aún en fase que puedes contagiar la puedes liar parda con tu familia y compañeros.
Lo que está claro es que es una putada que fallen.
Recuerdo que testeaba dos cosas una se supone que era para la infección antigua y otra para la reciente, leche, lo busco más ...
Lo encontré! Testea dos anticuerpos: IgG/IgM
Tipo de test
El Test Rápido COVID-19 IgG/IgM es un análisis inmunocromatográfico en fase sólida para la detección rápida y diferencial de los anticuerpos IgG y IgM contra el nuevo coronavirus (Covid-19) en sangre. Son rápidos y sencillos, produciendo resultados en 15 minutos.
Ahora mismo en España se supone que la cantidad de contagiados está en torno al 5% de la población. Ante un caso así, un 2% de margen de error es demasiado, de hecho con ese margen de error este test podría decirnos que hay casi la mitad de contagiados de los que hay en realidad, pero conforme la gente se vaya contagiando y vaya aumentando el porcentaje de personas con anticuerpos (algo que tendrá que pasar antes o después, antes con segunda oleada) ese margen debería ir siendo cada vez menos impactante, ¿no?
cc #16
¿De donde sacas que la cantidad de contagiados está en torno al 5%
Según el estudio de seroprevalencia en España ENE-COVID del Instituto de Salud Carlos III, que acaba de hacer pública su tercera oleada (y, por cierto, cuyo buen hacer ha merecido la publicación de su estudio en la revista The Lancet, el máximo nivel de la ciencia médica en el mundo), en España existe aproximadamente un 5% de población que ha pasado la infección por el SARS-CoV-2.
Esto se calcula con teorema de bayes y el teorema de la probabilidad total. Es lo lógico que un test que acierta el 98% de las veces produzca esos falsos positivos, si el ratio de positivos/negativos reales en la muestra está muy desbalanceado.
psychscenehub.com/psychinsights/well-understand-probabilities-medicine
Aqui link en ingles:
#61
Varlak lo explica bastante bien creo...
Es también uno de los motivos que se explican en House(sorry ficción) para no hacer Chequeos completos y masivos pues siempre encontraras algun problema. Y por lo mismo que un médico manda pruebas en base a sospechas de problemas e indagando los sintomas y no masivamente y a cualquiera, para reducir la "base estadistica" contra la que comparas.
Curiosamente hice esa misma pregunta de Taleb a mi hermana cuando estaba recien licenciada en medicina y ella si respondió lo que taleb indica como correcto... (O mi hermana es muy lista o quizá los médicos que no se centran en estos temas olvida un poco la estadística con el tiempo jejeje)
La CRIBA previa a cualquier prueba medica es vital para que la prueba tenga un alto % de acierto final. Sin criba los test masivos(de cualquier tema médico) pueden ser hasta contraproducentes.
Mas info aquí o en los libros de Taleb y otros estadistas:
psychscenehub.com/psychinsights/well-understand-probabilities-medicine