febrero 2015

Sobre la base de que el ejercicio gremial implica buen ejercicio profesional, que nos haga merecedores de los buenos honorarios o Buenos salarios a los cuales aspiramos, sigue un artículo dedicado a poner en evidencia la verdad tras la supuesta evidencia. ¡Evidente!

 

Por qué los resultados de la investigación suelen estar errados

                                                            Por John Hardie (2012)

                                                                     El 90% de la información médica publicada                                                                                                    en la que confían los médicos es falsa

                                                               Es bien posible  que observaciones                                                                                         totalmente falsas; pero “estadísticamente                                                                              significativas” entren en la literatura con un                                                                                    nivel de credibilidad que es muy difícil                                                                                                 negar o disputar

El artículo, publicado en la revista canadiense Oral Health, llega a estas conclusiones;

Parece haber suficiente justificación para dudar o, por lo menos, cuestionar el acierto de la mayoría de los resultados de la investigación en las ciencias médicas. Es muy probable que la investigación dental esté plagada de las mismas faltas. De acuerdo con ello, es importante aplicar un ojo crítico a todos los estudios, en especial los que proponen o apoyan ideas preconcebidas o sesgadas de sus autores, porque lo más probable es que estén erradas.

“Con estadísticas se puede probar casi cualquier cosa,”

fue el titular del National Post (21/11/ 2011). Se refería a un nuevo estudio aparecido en Psychological Science que demostraba qué fácil es manipular datos para publicar evidencia estadísticamente significativa que apoye cualquier hipótesis.

“Sería por lo tanto lógico hacer todo el  esfuerzo posible para reducir las probabilidades  de publicar datos falsos o no confiables en la literatura científica”, editorializó el Journal of the Canadian Dental Association, en octubre de 2011

Mentiras, malditas mentiras en medicina

escribió el Dr. John Ioannidis, de la EscuelaTufts de Medicina, en noviembre de  2010, en el Atlantic. En lenguaje sencillo explica  cómo llegó a la conclusión de que el 90% de la información médica publicada en la que confían los médicos es falsa, y que los consejos que nos dan los expertos en salud, nutrición y farmacología es engañosa, falsa o, a menudo, simplemente equivocada.

El artículo se apoya en dos trabajos significativos del Dr. Ioannidis.

El primero apareció en PLoS Medicine en 2005. En él, valiéndose de razonamiento matemático podía correctamente predecir que el 80% de los estudios no aleatorizados (“randomizados”), el  25% de los ensayos aleatorizados pequeños a medianos, y el 10% de los aleatorizados grandes hallarían sus resultados refutados de manera muy convincente en estudios posteriores.

El segundo trabajo (Journal of the American Medical Association, 2005) se concentró en 49 de los hallazgos más significativos de la medicina en los 13 años previos y marcados por dos factores. Uno, haber sido publicados en una de las revistas  más a menudo citadas por la comunidad de investigadores; dos, los 49 mismos habían sido los  más citados de esas revistas.

De los 49 artículos, 45 proveían métodos para verificar la eficacia de sus respectivas propuestas. Cuando 34 de ellas fueron retesteadas, 14 (41%) mostraron de modo muy convincente su error o grosera exageración. Ioannidis eligió esos 49 artículos de entre estas tres revistas “top”: New England Journal of Medicine, Lancet y  Journal of the American Medical Association. (En odontología, para Faggion esas revistas serían: Journal of Clinical Periodontology, Journal of Dental Research y Oral Oncology)

Si entre un tercio y una mitad de las investigaciones médicas en las revistas más prestigiosas, y muy aceptadas no son de fiar, imaginemos en las publicaciones menores. El impacto y la influencia de las tres más prestigiosas revistas médicas es unas  10 veces mayor que de tres de las publicaciones odontológicas citadas con más frecuencia.

La relevancia en odontología será comprensible al remitirse a un reciente artículo  de Faggion quien cuantificó la influencia e impacto de las revistas científicas. Puesto que  Ioannidis mostró las fallas de  30-50% de las revistas médicas más respetadas en investigación, es una segura suposición que por lo menos el 50% de las observaciones serán muy cuestionables.

http://www.research.vt.edu/resmag/sciencecol/images/rat_genes.jpgLa rata dice a la ratita; “Piensa que estarás haciendo una contribución a la ciencia”. Se refiere a un trabajo para mejorar el contenido en las plantas de vit C con genes de ratas.

Resultados estadísticamente significativos

Faggion sugiere que pese a la revisión por asesores el fraude y la falta de ética profesional  son, desgraciadamente, realidades de la investigación médica.2 Sería ingenuo creer que la investigación dental es inmune a abusos similares.

Pero aun cuando eso genera resultados falsos, hay formas menos maliciosas de la metodología  de la investigación que cabe suponer son responsables de resultados inexactos y desconfiables.

http://www-users.york.ac.uk/~pml1/bayes/cartoons/cartoon07.jpg”Bueno, maldita sea si voy a defender tu derecho a decir tu supuesta verdad si no es estadísticamente significativa.”  The New Yorker

Lo “estadísticamente significativo” representa para Simmons et al1 y Ioannidis4 una denominación relevante para resultados  incorrectos. Para entenderlo, se requiere la comprensión de lo que significan (1) la hipótesis nula, (2) los valores P, (3) los falsos positivos, y (4) el sesgo de la publicación. [Aquel a quien se le haya olvidado un poco debiera releerlo con atención para trabajar sobre auténtica evidencia y no “chivos” U. O.] (null hypothesis, p-values, false positives and publication bias)

(1)  La hipótesis nula es la proposición que implica que no hay efecto o relación entre los  fenómenos o datos siendo investigados. Se suele expresar en negativo. Ejemplo: “la hiperactividad no está relacionada con la ingesta de azúcar.” Si se la pone a prueba y se la encuentra probablemente falsa, entonces la hipótesis nula debe ser rechazada o nulificada y el resultado es que “puede haber una conexión entre hiperactividad e ingesta de azúcar”.

La significación estadística dirá si se rechaza la hipótesis nula o no. En realidad, esta construcción estadística  nunca puede ser probada, pues en verdad podría haber o no una relación entre hiperactividad e ingestión de azúcar.

(2) Valores P

Esta denominación  estadística se refiere a la probabilidad de que el resultado de un test se deba a variaciones normales aleatorias; en sencillo, al azar. Un valor-p de 0 (el más bajo posible) significa que hay 0% de posibilidad de que los resultados se deban al azar y que esos  resultados son significativos. Un valor-p de 1 (el más alto posible) significa que hay 100% de posibilidad de que los resultados se deban al azar, que son  100% coherentes con variaciones aleatorias y que los resultados no son significativos.

Por una convención se adopta el valor P= 0.05  como el valor P crítico o significativo con el cual es posible rechazar la hipótesis nula: porque traduce un 95% de probabilidad de que los resultados no se deban al azar y solo un 5% de que sí sea azar.

Se dice que el e resultado es estadísticamente significativo implicando que es probable que sea cierto. A mayor P, mayor probabilidad de acción del azar.

(3) Falsos positivos

Un falso positivo es la incorrecta negación de  la hipótesis nula. Su presencia frecuente está entre los más serios errores en las investigaciones publicadas.

Si se sabe por la clínica que un tratamiento es ineficaz y el test y su estadística lo hallan de un valor P 0.05 apuntaría a que sea eficaz, la hipótesis nula “es clínicamente ineficaz” será rechazada y se habrá creado un falso positivo, y, en consecuencia, por eso, la terapia será aceptada a causa de ese engañoso 95%  de probabilidad de que sea útil.

 


Sólo para inteligentes

En la teoría de la probabilidad, el teorema de Bayes fue enunciado por Thomas Bayes en 1763 y expresa la probabilidad condicional de un evento aleatorio A dado B en términos de la distribución de probabilidad condicional del evento B dado A. Es decir, vincula la probabilidad de A dado B con la probabilidad de B dado A. O, sabiendo la probabilidad de tener un dolor de cabeza si se tiene gripe, se podría saber la probabilidad de tener gripe si se tiene un dolor de cabeza.

Desafío para inteligentes (con premio)

Suponga que una rara enfermedad infecta a una de cada 1000 personas de una población.

Suponga también que existe un test bueno, pero no perfecto para esa enfermedad. Si una ´persona la padece, el test viene positivo 99%. Pero el test produce algunos falsos positivos: alrededor del 2% de los no infectados da positivo (falso); si a usted le dio positivo, ¿cuáles son sus probabilidades de tener la enfermedad?

http://www-users.york.ac.uk/~pml1/bayes/cartoons/cartoon06.jpg


 

(4) Sesgo de la publicación

El sesgo (bias) es tendencia a publicar resultados positivos estadísticamente significativos (p-<0.05) con más frecuencia (hasta 10 veces) que resultados negativos (i.e. que apoyan la hipótesis nula) o no son concluyentes.6

Dado este sesgo de las publicaciones, Berlin et al creen que para producir resultados positivos  está muy difundida la manipulación de los datos conducentes a una preponderancia de falsos positivos en la literatura.7

            El peligro de los falsos positivos

Un ejemplo extremo: hay que investigar la aptitud de 100 colutorios para reprimir o prevenir la gingivitis; pero no saben que ninguno de ellos resultó eficaz en  la práctica. Es muy probable que uno de cada 20 tests produzca un  valor P de 0.05 o menor por puro azar. Por lo tanto, unos 5  tests (100/20) darán resultados “estadísticamente significativos” que sugerirían que son eficaces, una tasa de falsos positivos de  5%. Entonces, aun cuando todos los buches son inútiles para el fin estudiado, los hipotéticos investigadores ignorarán los 95 tests negativos y se enfocarán en los 5 positivos publicados conscientes de que los directores de publicaciones sesgados favorecerán los resultados positivos (aunque falsos).

Este exagerado cuadro pinta cómo es posible que hallazgos por complete falsos, “estadísticamente significativos” entren en la  literatura con un nivel de credibilidad difícil de disputar.1

La verdad de lo escrito por Ioannidis y otros muchos queda revelada al saber que entre los hallazgos más citados en la mayoría de las revistas prestigiosas investigadas por Ioannidis, un 32% con “significativos” resultados era  incorrecto o exageraba los resultados, y que un increíble 74%  que usó los valores P convencionalmente aceptados de 0.05 resultaron equivocados aun cuando sus tests fueran aceptados como  “estadísticamente significativos”. Esto incluye los estudios controlados aleatorizados -  “norma de oro” de la evidencia.

Por qué puede ser defectuosa una investigación

Los “grados de libertad del investigador” son la principal razón de las investigaciones defectuosas (Simmons et al1) Los “grados de libertad” son un paraguas para toda el procesamiento de datos y opciones de análisis que toman los investigadores después de reunir los datos.

Este concepto se centra en dos aspectos de la conducta de un investigador.

A) en la recolección de datos y observaciones, por ejemplo, decide de antemano qué datos específicos recolectar o rechazar, qué observaciones incluir o excluir y qué variables controlar o ignorar que pudieran confundir.

B) cuando debe tomar decisiones específicas en el curso de un estudio, los investigadores padecen un deseo inherente de establecer un resultado estadísticamente significativo.1 Así, cuando enfrentan decisiones analíticas en cuanto a datos, observaciones y variables tienden, von una convincente propia justificación, a elegir los que  crearán resultados con significación estadística de p<0.05.  No es por malicia, sino por innata convicción de cualesquiera que sean las decisiones, las más favorables (publicables) serán por entero apropiadas.

Por lo tanto, resulta que los “grados de libertad” y el “sesgo” concedidos a los investigadores al diseñar sus estudios y al interpretar lis resultados son factores significativos en la producción de investigaciones defectuosas.

            Sugar_humans_600 - cartoonEl mundo al revés: las ratas estudian                                                                 nuestra adicción  al azúcar

Para Ioannidis hay otros seis factores que incrementan la probabilidad de hallazgos no ciertos.

1. Tamaño de la muestra. Cuanto menor, menor la certeza. Debiera cooperar un estadístico experto para decidirlo.

Salvo en epidemiología mayor, difícil que una muestra alcance miles.

2. Magnitud del efecto. Con un producto que reduce las caries en 60-80% es más probable que sea cierto que uno que sólo las disminuye un 5-10%.

3. Estudios previos. Trabajos bien diseñados aleatorizados y controlados (RCT) y meta-análisis en general producen resultados más exactos que uno solo que intente controvertir una hipótesis de nulidad.4

A veces, la suma de RCT ) y meta-análisis no es mejor que cada una de sus partes si padecieron las fallas ya enumeradas. Los RCT son falibles.

4. Flexibilidad de diseño. Cuanto mayor la flexibilidad y demás consideraciones previas o en los resultados y métodos analíticos de un estudio, menos probable que sea cierto.4

Cuanto más inequívocos los resultados observables (muerte, p ej) que en los que involucren escalas de dolor postoperatorio.

5. Financiamiento y prejuicios. Hay un peligro cierto cuando existe un conflicto de interés (aun el solo aportar los materiales para el estudio) o cuando puede rendir grandes beneficios (patentes, etc.)    

6. Popularidad del tópico.  Cuando un tema puede acarrear prestigio si produce un resultado “positivo”, surge el compromiso más o menos consciente y el sesgo para obtener un final  favorable, aunque probablemente falso.

While the degree to which these factors operate in dentistry is unknown, their very existence is reason enough to question the validity of most, if not all, dental research. Presumably it was this concern that caused Faggion to conduct his study.2

How the imperfections in research methodology might apply to dentistry is illustrated by the following.

Para mejorar la situación

Hay métodos propuestos por Faggion, Simmons y Ioannidis1-4 para mejorar la probabilidad de certeza.

Hay que mejorar la factibilidad de repetir los resultados. Para Faggion está en sus “datos crudos”2, sin elaborar aún.

Si el trabajo los incluyera, o si acompañaran la presentación, los directores y evaluadores contarían con un elementos básico para juzgar la propiedad de la investigación y sus resultados.

[El detalle no interesa al lector de Universo Odontológico, y los investigadores debieran ya conocerlos.]

El Dr. Hardie estuvo profundamente involucrado con la Asociación Dental Canadiense en la generación de los lineamientos en los cuales basar los trabajos de evidencia.

REFERENCIAS

1. Simmons, JP et al. False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science 2011; 22(11): 1359-1366.

2. Faggion CM. Improving Transparency in Dental Research by Making the Raw Data Available. J Can Dent Assoc 2011; 77: b122.

4. Ioannidis JPA. Why most published research findings are false. PloS Med 2005; 2(8):e124.

5. Ioannidis JPA. Contradicted and Initially Stronger Effects in Highly Cited Clinical Research. JAMA 2005; 294(2); 218-228.

7. Begg CB, Berlin JA. Publication Bias and Dissemination of Clinical Research.J Natl Cancer Inst 1989; 81(2): 107-115.

Tengamos presente hoy más que nunca, las palabras de ¨Martín Fierro¨ Los hermanos sean unidos porque esa es la ley primera.. porque si así no lo hicieran los devoran los de ajuera

                                                  

                                                         VOLVER