Episodio 39. "Basado en la evidencia científica". Y eso ¿qué diantres significa?

 (Autor: Héctor García Rodicio https://www.instagram.com/correrporsenderos/)

De una recomendación de salud, un método de entrenamiento o una herramienta para el rendimiento o la recuperación solemos exigir que esté “basado en la evidencia”, que tenga “respaldo científico”; es decir, que se hayan llevado a cabo estudios, que hayan examinado la eficacia de la medida en cuestión y que los resultados sean positivos. Nos hemos puesto cada vez más exquisitos y, oye, si una herramienta no ha pasado el filtro de la ciencia, pues ya no es más que el cuento chino de un curandero y no vamos a gastar un céntimo en ella. Bien, no seré yo, científico de profesión, quien tire piedras contra mi propio tejado y defienda que el respaldo empírico no es una condición imprescindible para adoptar una práctica, metodología o dispositivo; pero lo que no sé es si sabemos cabalmente qué diantres es eso de la evidencia científica. Y es que, sin saberlo, al final puede que nos ceguemos por el marchamo de “basado en la evidencia” y nos vendan mala ciencia como buena ciencia y sea peor el remedio que la enfermedad. Vaya, que conviene saber exactamente cómo se hace la ciencia para distinguir el grano, los estudios de calidad, de la paja, la mala ciencia, que a la postre es peor que la pseudociencia, porque promete algo que luego no da. Puestos a elegir, por tanto, la pseudociencia es preferible a la mala ciencia, porque de la primera sabes en todo momento que tiene poco o nulo fundamento; la mala ciencia, sin embargo, pasa por algo 100% confiable a los ojos profanos, pero resulta que es tan truño como la pseudociencia, si sabes desentrañar sus claves. No es ciencia de la buena todo lo que reluce. Así que, para que, de una vez y para siempre, no nos den gato por liebre en materia de respaldo científico, vamos a aprender una serie de conceptos básicos de investigación científica y a recopilar una lista con los 10 tips esenciales para separar la chicha de la purria en cuanto a estudios científicos.

Sin más dilación, vamos al turrón.

Escúchalo en iVoox: https://go.ivoox.com/sq/1589660

Escúchalo en Spotify: https://open.spotify.com/show/55BRVcsLuTk23vrznk4Svb 

Escúchalo en Apple Podcast: https://podcasts.apple.com/us/podcast/correrporsenderos/id1633871674

Escúchalo en YouTube: https://www.youtube.com/channel/UCHxjhh-GjnQ3QU_zB2NYTnw

¿QUÉ ES LA CIENCIA?

La ciencia es el intento del ser humano por comprender la naturaleza. Se basa en tres pilares: la observación sistemática de la realidad, la reflexión y la colaboración de distintas cabezas pensantes.

Observación. Observar la realidad significa obtener datos, evidencias, y éstas pueden ser huesos en un yacimiento, respuestas a una encuesta, niveles de concentración de lactato en sangre o tiempo en recorrer 2000m.

Reflexión. Una vez has recogido esos datos, toca pensar para intentar explicar y entender lo que ha sucedido. Apelando al conocimiento acumulado, generas una explicación o teoría de lo que ha ocurrido, de la que se derivan hipótesis. Vuelves a recoger datos para ir confirmando o refutando las hipótesis y, por consiguiente, dando validez o desmontando la teoría.

Colaboración. Tanto la manera como has recogido los datos como la forma en que los has explicado son escrutadas por otras personas, que hacen críticas para refinar el trabajo. Aparte, idealmente, otras personas repetirán tu estudio para confirmar que el resultado es consistente.

En fin, se trata de recoger datos, pensar qué pueden significar, formular hipótesis y recoger más datos para confirmarlas o refutarlas; y todo ello se hace bajo la mirada atenta de otras mentes pensantes, que revisarán tu trabajo y lo replicarán para comprobar que el resultado se mantiene.

Hay un paso más en el proceso científico, implícito en lo último que acabo de explicar: la publicación. Recoger datos es hacer trabajo empírico, hacer estudios. Una vez realizado un estudio, analizados e interpretados los datos, el proceso científico continúa con la publicación del estudio en cuestión. Es la manera como otras personas pueden colaborar en él. Escribes un artículo donde dices qué pregunta ha motivado tu estudio, pones los resultados y das tu interpretación de los mismos. Lo mandas a una revista científica, donde un editor hará una primera lectura para valorar la calidad y el interés de tu artículo. Si pasa ese primer filtro, el editor lo mandará a dos revisores “ciegos”, es decir, dos personas expertas en el campo, que no saben quién ha escrito el artículo y que tú desconoces quiénes son también. Si lo consideran de calidad suficiente, harán comentarios para mejorar el artículo. Si, directamente, creen que es un churro, le dirán al editor que lo rechace. Una vez introducidos los cambios sugeridos por los revisores, si es el caso, el artículo saldrá publicado. De ese modo, otras personas podrán leerlo, conocer tu estudio y tus resultados, compararlo con estudios y resultados suyos o intentar reproducirlo punto por punto para ver si sale lo mismo. En fin, como dije al comienzo: observación, reflexión, colaboración son las tres patas de la ciencia; para hacer posible lo último, la colaboración, es necesario escribir y publicar artículos.

Una última cuestión sobre los artículos es su estructura. Todos tienen una introducción, donde se expone la cuestión que ha motivado el estudio, una sección de método, donde se describen todos los detalles del estudio, otra de resultados y otra de discusión, donde se interpretan los resultados. Todo eso, además, se recoge en el “abstract”, que es un texto de apenas 200 palabras donde se reflejan objetivo del estudio, método, resultados e interpretación de la forma más concisa posible.

¿CÓMO SE HACE CIENCIA?

Ya sabemos que la ciencia se basa, esencialmente, en hacer estudios y publicarlos en revistas especializadas. Falta conocer los entresijos de esos estudios, cómo exactamente se llevan a cabo y qué aspectos determinan su calidad. Toca, pues, definir una serie de conceptos básicos sobre investigación científica.

Tipos de estudios

Hay básicamente cuatro tipos de estudios o diseños de investigación. El primer tipo son los estudios descriptivos. En éstos, se registra únicamente un parámetro o variable de una población. Por ejemplo, se mide la prevalencia de diabetes tipo II en España: cuántas personas ahora mismo sufren esta patología en el territorio nacional. Otro ejemplo: se hace una encuesta para saber las variaciones en el peso corporal durante los meses de cuarentena en 2020 y concluir que equis porcentaje de la población aumentó equis kilos.

Otro tipo de estudio son los observacionales. En este caso, se explora la relación entre dos o más variables. Por ejemplo, se puede ver si más horas de sueño se asocian a menores tasas de ciertas enfermedades o mejor rendimiento académico. Harías encuestas, pidiendo a la gente estimar sus horas de sueño habituales y reportar si sufren o no las enfermedades de un listado predeterminado o reportar sus resultados académicos. Otro ejemplo de estudio observacional: ver la relación entre SES y calidad de la dieta. Harías encuestas, pidiendo a la gente reportar sus ingresos anuales y la frecuencia con que consumen carne y pescados frescos, huevos, vegetales, frutos secos, aceite de oliva virgen, etc.

Otro tipo de estudio son los de intervención o experimentales, también llamados RCTs (ensayos clínicos aleatorizados). Aquí también examinas la relación entre variables, pero manipulando una de ellas para ver si afecta a la otra. En el diseño observacional registrabas dos variables y examinabas su asociación. En el experimental manipulas una de ellas, es decir, expones a un grupo de personas a distintos valores de una variable y ves cómo esas distintas condiciones se reflejan en otra variable. Un ejemplo muy sencillo: coges a un grupo de runners recreacionales, les pides correr un 2000 a fuego con zapatillas rodadoras y les pones a correr ese mismo 2000 a fuego con zapatillas con placa de carbono y comparas los tiempos bajo una y otra condición. Estás manipulando una variable, tipo de zapatilla, y estas viendo cómo cambios en dicha variable afectan a otra, en este caso, tiempo en un 2000. Otro ejemplo: reúnes a un grupo de runners recreacionales y les pones a entrenar seis semanas, unos harán rodajes a ritmo medio cuatro veces/semana, otros harán dos rodajes suaves y dos sesiones de alta intensidad a la semana. Pasadas las semanas de entrenamiento, miras cambios en el vo2max de unos y otros.

El último tipo de diseño de investigación son los estudios de síntesis. Aquí lo que haces es coger todos los estudios publicados explorando cierta cuestión y los juntas para ver cuál es el resultado global. Por ejemplo, siguiendo con ese experimento hipotético que comparaba correr 2000m con zapas con placa de carbono y zapas convencionales, sería posible que hubiera una docena de estudios parecidos. En un estudio de síntesis localizarías todos ellos y buscarías cuál es el resultado global, si las zapatillas con placa realmente mejoran el rendimiento y cuánto. En las “revisiones sistemáticas”, pones todos los estudios y sus resultados en una tabla y contabilizas cuántos encontraron un resultado positivo y cuántos uno neutro o negativo. En los “meta-análisis” pedirías las matrices de datos a los autores de los estudios, construirías una mega-matriz con todos los datos y harías un análisis estadístico para obtener un número que resume todos los resultados y que dice, por seguir con el ejemplo, si las zapatillas con placa funcionan.

En conclusión, están los estudios descriptivos, que miden una variable en una población, los observacionales, que miden dos o más variables y calculan su asociación, los experimentales, que manipulan una variable y miden el efecto que eso tiene sobre otra variable, y las revisiones sistemáticas y meta-análisis, que juntan muchos estudios sobre una misma cuestión y calculan el resultado global.

Métodos

Aparte de que el estudio sea de un tipo u otro, básicamente, observacional o experimental, el estudio se puede hacer mejor o peor. Esto depende de los métodos utilizados. Para empezar, interesa que el tamaño de la muestra sea grande. La muestra es el grupo de personas participantes en tu estudio. Por una cuestión estadística, cuanto más grande sea la muestra, más representativa será. Que sea representativa significa que tu muestra representa, es decir, refleja con fidelidad, a la población total objetivo. Por ejemplo, si estás interesado en runners recreacionales residentes en España con un par de años de experiencia y que se ejercitan al menos tres veces por semana y hay, pongamos, 10 millones de personas que cumplen ese criterio, pues tu muestra debe tener un tamaño suficiente como para incluir la variedad de perfiles dentro del criterio. En esos 10 millones habrá hombres y mujeres, de 20, 30, 40 y 50 años, con más y menos dedicación al running, con más y menos índice de masa corporal, con mejor y peor técnica de carrera, con más y menos SES, con más y menos afición por los gadgets, con más y menos afición por las competiciones, etc. Pues bien, en tu muestra ha de haber un poco de todo eso. Y, para lograrlo, cuanto más grande, más fácil. Si cogieses nada más que 10 participantes, podrías tener la mala pata de elegir, precisamente, a quienes salen a correr seis días/semana, tienen bajo peso corporal y buena técnica, por decir algo.

Ni que decir tiene que otro aspecto fundamental de la muestra para lograr su representatividad es si el estudio se realiza en humanos o animales de laboratorio, lo que se conoce como modelos animales. Por cuestiones éticas y económicas, muchas veces se recurre a animales y, en particular, ratas. Por ejemplo, si queremos investigar fármacos para combatir tumores sólidos o el avance del Alzhéimer, podemos provocar artificialmente la enfermedad a las ratas y aplicar después el fármaco en cuestión. Es mil veces más seguro y más fácil hacer esto con ratas que acceder a una muestra suficiente de personas enfermas y, además, dispuestas a asumir posibles efectos secundarios. El problema es que las ratas son una especie distinta a la humana y los efectos de un mismo tratamiento no necesariamente se pueden extrapolar de una especie a la otra. Por ejemplo, las ratas son animales nocturnos, activos y sociales, su ciclo de vida es de tres años y pesan 300g. Sin embargo, las obligamos a vivir aisladas en jaulas y sin apenas movimiento, a seguir nuestro ritmo circadiano de actividad durante el día y sueño durante la noche y les damos dosis gigantescas de los fármacos, suplementos o alimentos que estamos investigando. ¿Encajarían igual esos mismos tratamientos si fueran adecuados a sus características como especie o los efectos son resultado de todo ese régimen artificial en que les obligamos a vivir?

Muy relacionado con la validez de los resultados está la cuestión de las medidas de control. Incluso si tu muestra es grande, siempre es posible que se cuelen variables extrañas que distorsionen el resultado. Si estás explorando, digamos, si correr supone un beneficio para la salud, es fundamental considerar variables distintas de correr cuyo impacto en la salud es bien conocido. Podría ocurrir que en ese hipotético estudio encontraras asociación entre correr más y mejor salud, pero porque quienes corren, también cuidan su dieta y, además, son personas con más tiempo libre y poder adquisitivo, lo que, a su vez, les permite gestionar mejor el estrés. Serían esos factores y no correr más horas o kilómetros lo que explicaría la mejor salud. Un buen estudio controlaría esas variables, es decir, las mediría y luego, en los análisis estadísticos, separaría la influencia de ellas y de correr sobre la salud. Entonces, se podría decir, por ejemplo: a igualdad de dieta y SES, correr más horas es bueno para la salud; o, quizás: correr no mejora tu salud, si sigues una mala dieta y tienes bajo SES.

En los experimentos también incluimos ciertos controles. Por ejemplo, en ese hipotético estudio sobre zapatillas con placa de carbono, donde se corren 2k con zapatillas con placa y 2k con zapatillas convencionales, ambas carreras deberían estar separadas, al menos, 24-48h para permitir afrontarlas con igual frescura. Deberían ser en la misma pista de atletismo y con las mismas condiciones de viento y temperatura y de nutrición e hidratación de los participantes. Aparte, para evitar el efecto aprendizaje (i.e., que la segunda te salga mejor que la primera porque ya sabes de qué va la cosa) unos participantes correrían la primera con las zapas de carbono y la segunda, con las normales, y otros participantes seguirían la secuencia inversa.

Una medida de control muy importante en estudios experimentales es el doble ciego. Tanto la persona que aplica un tratamiento como la que lo recibe deben desconocer en cuál de las condiciones experimentales están. Un ejemplo: imagina que estamos investigando el potencial de cierto suplemento para mejorar la recuperación tras el ejercicio. Como experimentadores, cuando le damos la pastilla a los participantes, si sabemos que es la pastilla buena y no el placebo, es posible que actuemos inconscientemente de una manera poco natural, por ejemplo, sonriendo mucho, siendo más amables. Como participantes, cuando recibimos la pastilla, si sabemos que es la buena y no el placebo, habrá un efecto de sugestión que nos hará sentir que nuestras agujetas son menos gracias al suplemento en cuestión. Idealmente, se debe emplear una pastilla neutra, desde el punto de vista de su apariencia, olor y sabor, y así en sus dos versiones, la auténtica y el placebo. Otro ejemplo. Si estuviéramos examinando si el entrenamiento polarizado es mejor que uno focalizado en ritmo umbral, a los participantes en las distintas condiciones no les explicaríamos qué se hace en la otra condición ni cuál de las dos es nuestra, entre comillas, “preferida”. Si sabes que te ha tocado la condición “buena”, por llamarla de algún modo, seguramente te esfuerces más.

Una precaución muy importante cuando estamos ante un estudio experimental es, justamente, que las condiciones son experimentales, no reales. Me explico. Si comparas dos regímenes de seis semanas en runners recreacionales, uno de cuatro rodajes a ritmo medio por semana y otro de dos rodajes suaves y dos sesiones de alta intensidad por semana y ves que el segundo funciona mejor, porque les hace mejorar toda una serie de indicadores fisiológicos y de rendimiento, cuidado con las conclusiones que sacas. Es posible que los participantes estuvieran muy poco entrenados, en particular, que nunca hubieran probado la alta intensidad, de modo que ha habido un efecto agudo al aplicarla. Pero pasadas esas seis semanas ¿las ganancias del segundo régimen sobre el primero se mantendrían de por vida? Existe la posibilidad de que las diferencias entre condiciones desaparezcan una vez pasas varios meses siguiendo esos métodos de entrenamiento y ambos acaben funcionando igual. O peor, es posible también que ambos dejen de tener efecto. Aún obviando estas posibilidades y asumiendo que el régimen polarizado es mejor que el centrado en intensidad media, tampoco sabes qué dosis exacta de alta y baja intensidad es el idóneo. Tú has comparado solamente una fórmula, de dos días suaves y dos días fuertes por semana, con una 100% basada en intensidad media; pero quizás un esquema de tres días suaves y uno fuerte funciona igual que el dos y dos. Esto sería más interesante porque consigues los mismos beneficios con menos esfuerzo. En fin, tú sólo puedes extraer conclusiones sobre las condiciones concretas que has probado, no más.

Un último aspecto sobre los métodos de los estudios es el tipo de medidas que se usan para conocer las variables, que pueden ser subjetivas u objetivas. Una manera muy barata de medir una variable es lo que se conoce como “self-report” o “auto-informe”, donde estimas en una escala 0-10, por ejemplo, cuánto crees que equis cosa se aplica a ti. Por ejemplo, estima en una escala 0-10 cómo es la calidad de tu sueño, cuán frecuente es tu consumo de vegetales, cuán recuperado estás del entreno fuerte de ayer, cuánta molestia muscular sientes o con cuánta frecuencia debes faltar al trabajo porque te encuentras indispuesto. En el ámbito del rendimiento deportivo, conocer el esfuerzo percibido o las molestias musculares tiene su sitio. Si usar bastones en montaña no reduce el gasto energético, pero te hace sentir más ligero, pues bienvenidos sean; una experiencia más agradable te va a hacer esforzarte más. Y lo mismo con las molestias musculares; si un masaje te hace sentir mejor, bienvenido sea, aunque los marcadores de inflamación no cambien ni un ápice tras el mismo. Pero, para una correcta evaluación del fenómeno que estés investigando, es necesario combinar medidas subjetivas y objetivas del mismo parámetro. Y es que el auto-informe tiene dos limitaciones insalvables: la deseabilidad social y la falta de conciencia. La deseabilidad social es un sesgo por el cual contestas según lo que es socialmente aceptable y no según la verdad. Por ejemplo, si te preguntan cuánto cuidas tu salud, pues no vas a decir alegremente que eres un desastre. También está el problema de que mucho de lo que hacemos a lo largo del día lo sostiene nuestro modo automático, no somos conscientes de lo que hacemos. Un ejemplo muy obvio: podemos decir cuántas horas pasamos en la cama, pero no lo que ocurre durante el sueño, porque puede haber múltiples pequeñas interrupciones de las que no tenemos conocimiento.

Respecto al tipo de medidas, también conviene distinguir entre medidas directas e indirectas, también llamadas “surrogates” o “proxy indicators”. A veces no puedes medir los efectos directos sobre salud o rendimiento y entonces acudes a medidas aproximadas. Por ejemplo, quieres ver los efectos de cierto método de entrenamiento para deportistas de ultra-endurance, pruebas que se van más allá de las 8h o que encadenan hasta 10 etapas en días consecutivos. Como no les puedes plantear tests de campo cada dos por tres, pues aplicas una prueba de 20’ antes y después de la intervención y asumes que las mejoras en esos 20’ se podrán extrapolar a la competición. En 20’ a tope puedes expresar tu vo2max, pero ¿un mayor techo aeróbico me va ayudar en una competición donde voy a ir a medio gas el 90% del tiempo? Otro ejemplo: quieres ver si una dieta rica en antioxidantes aumenta la longevidad, pero no puedes esperar 50 años para comprobarlo; entonces mides los niveles de antioxidantes, como el glutatión, tras tres meses de dieta. Más antioxidantes equivale a menor presencia de radicales libres en las células, pero ¿realmente se traducirá en más años de vida?

Análisis de datos

Vale. El estudio ya está hecho, ya se han recogido los datos. El diseño pudo ser observacional o experimental y el método, más bueno, con múltiples controles, o más pobre. Ahora es momento de realizar el análisis estadístico de los datos para obtener resultados. ¿Qué cosas hay que saber?

En los estudios observacionales, donde examinamos la asociación entre dos o más variables, es esencial comprender que miden correlación, no causación. Por ejemplo, imaginemos que la gente que tiene perro pasea más. ¿Es que tener perro te anima a pasear más o adoptaste un perro porque eres una persona muy activa? O sea, la correlación indica asociación entre dos variables, pero no sabemos el sentido de esa asociación, si fue antes el huevo o la gallina. También puede ocurrir que haya una tercera variable causante de las dos que has encontrado asociadas. Por ejemplo, pongamos que quienes consumen menos carne tienen mejor salud; podría ser que esa mejor salud se deba, no a un menor consumo de carne, sino a un mayor cuidado global de la salud. Seguramente es gente que, por estar preocupada por su salud, ha reducido su ingesta de carne porque escuchó las advertencias de la OMS al respecto, pero también ha comenzado a caminar 10mil pasos al día, a recibir luz natural para sintetizar vitamina D y a tomar más fruta y verdura para obtener más vitamina C, siguiendo también recomendaciones de la OMS sobre esos otros aspectos.

En los estudios experimentales sí podemos atribuir el efecto en la variable que medimos a los cambios en la variable que manipulamos, es decir, sí podemos ver relaciones de causalidad. Si, pongamos, los participantes corren más rápido sobre zapatillas con placa de carbono que sobre zapatillas convencionales es gracias a la citada placa, puesto que todo el resto de condiciones se mantuvieron constantes. Misma pista de atletismo, misma temperatura, mismo viento, mismo estado de descanso previo, de nutrición e hidratación, etc. y, con todo eso igual, corres más sobre zapas con carbono. La conclusión es inapelable: son las zapas especiales las que te hacen correr más.

Pero aquí el concepto de desviación típica es crucial. Cuando hacemos un experimento comparamos dos condiciones. Siguiendo con el ejemplo, comparamos los tiempos que 20 personas lograron con zapatillas especiales y con zapatillas convencionales. Comparamos, pues, el conjunto de tiempos con unas zapatillas con el conjunto de tiempos con las otras. Globalmente, un conjunto sale mejor que el otro. Pero ese conjunto no nos dice nada de todas y cada una de las puntuaciones individuales. La media de una condición será superior a la media de la otra condición, pero dentro de cada condición habrá desviaciones más o menos grandes respecto de esa media. El promedio de las desviaciones de las puntuaciones individuales respecto de la media es la desviación típica. Una desviación típica grande indica que, si bien en conjunto una condición puntúa mejor que otra, también hay casos de lo contario. En términos del ejemplo que venimos manejando, habrá gente que corra más rápido con zapatillas de placa, otra gente que corra muchísimo más rápido con zapatillas de placa, otros que corran igual con unas y otras zapas y hasta gente a quienes las zapatillas de placa les hacen ir más lento.

Una aclaración esencial tiene que ver con el concepto de significación estadística. Sea un estudio observacional o experimental, el resultado ha de ser estadísticamente significativo para ser tenido en cuenta. Si es un estudio observacional, la asociación entre variables ha de ser estadísticamente significativa. Si se trata de un estudio experimental, la diferencia entre condiciones ha de ser estadísticamente significativa. De serlo, significa que la relación entre las variables no se debe al azar, es decir, que, si repetimos el estudio 100 veces, encontraríamos la misma relación al menos en 95 de las veces. Peeero, y aquí está la cuestión, que el resultado no se deba al azar no nos informa sobre la fuerza de la asociación entre variables, en un estudio observacional, o la fuerza del efecto del tratamiento, si se trata de un estudio experimental. Por ejemplo, retomando las recomendaciones de la OMS sobre consumo de carne, se basan en que dicho consumo se ha visto consistentemente que está asociado a cáncer colorrectal. En concreto, el riesgo relativo de desarrollar cáncer aumenta un 18% si tomas carne. Pero el riesgo relativo no es el absoluto. Mayor riesgo relativo es que es más probable desarrollar cáncer tomando carne que no tomándola, pero, en ambos casos, siendo el cáncer poquísimo probable en términos absolutos. O sea, del total de la población española, que son 49 millones, en 50 años unas 900mil personas podrían acabar desarrollando cáncer; si mantuvieran un consumo alto de carne, ese número podría ascender a un millón. 900mil es el 1.8% de la población; un millón es el 2.1% de la población. 2.1 es un 18% más grande que 1.8, pero siguen siendo tasas minoritarias respecto al total.

En un experimento analizamos si una condición experimental tiene impacto respecto de una condición control. Si lo tiene, la diferencia entre las condiciones será estadísticamente significativa, ya lo hemos dicho. Eso significará que la diferencia es sólida y no se debe al azar. Pero ¿tiene esa diferencia relevancia? Por ejemplo, en el experimento sobre zapatillas con placa de carbono puede ser que dichas zapas mejoren tiempos respecto a zapatillas convencionales, pero que los mejoren en un segundo por cada 5k. ¿Te compensa gastar 300€ para bajar 8seg en una maratón? A Eliud Kipchoge o Letesenbet Gidey, que pelean por récords del mundo, sí; a ti, no lo veo ya tan claro… O imagina un experimento donde se compara una dieta moderada en carbohidratos y otra muy alta en carbohidratos sobre el rendimiento en deporte de resistencia. Y se ve que, en la segunda, los participantes conservan sus depósitos de glucógeno en carrera un 2% más; eso se traduce en que mientras los de la dieta moderada deben empezar a consumir geles tras dos horas de carrera para mantener la intensidad, los de la dieta alta tendrán que hacerlo pasadas dos horas y dos minutos de carrera. ¿Qué son dos minutos en una maratón por montaña donde, además, vas a estar metiendo carbohidratos cada 30’ sí o sí desde la primera hora?

¿QUÉ DEBO HACER PARA DISTINGUIR LA BUENA CIENCIA?

Ya hemos aprendido un montón de conceptos de investigación científica. Ahora toca aterrizarlo a tu práctica cotidiana: ¿qué mirar cuando leo un estudio científico? He aquí 10 tips.

Tip 1. Lo primero de todo si vas a leer ciencia es que leas ciencia, es decir, el artículo donde se describe el estudio, no un artículo en la prensa, en una revista de divulgación o en un blog que habla sobre dicho estudio. De lo que diga el estudio a lo que ese periodista o divulgador llegue a entender y/o quiera contar hay un trecho.

Tip 2. Mira qué tipo de estudio es, si es observacional o experimental y si es un estudio individual o un meta-análisis. Siempre es mejor que sea experimental en vez de observacional, porque verás relaciones de tipo causa-efecto y no correlaciones, y, en todo caso, meta-análisis es mejor que un estudio individual, porque verás la tendencia general y no un resultado aislado.

Tip 3. Ve a la sección de resultados y no mires el abstract solamente. Es posible (1) que los autores no hayan querido resaltar en el abstract un resultado que sea verdaderamente interesante y es posible que (2) la interpretación que los autores hagan de sus resultados sea subjetiva y que, quizás, a la luz de los datos, tú veas un fenómeno distinto a ellos.

Tip 4. Después de mirar el abstract y antes de acudir a la sección de resultados, mira si existen “conflictos de interés”. Antes, al hablar de doble ciego, no dijimos que, además de que el experimentador ha de desconocer la condición experimental que está manejando, para no favorecer la preferida inconscientemente, por supuesto, no debería tampoco tener interés económico en ella. Es muy sospechoso que una marca de suplementos, de bebidas energéticas o de zapatillas aparezca como financiadora de los estudios que confirman la eficacia de sus productos.

Tip 5. Mira el tamaño de la muestra y el intervalo de tiempo considerado. Para que sean relevantes los resultados, muestra e intervalo temporal han de ser amplios.

Tip 6. Asegura que las posibles variables extrañas están bajo control. En estudios observacionales mira que los posibles factores de confusión, como SES, se controlen estadísticamente. En experimentos mira que las posibles influencias ajenas al tratamiento experimental, como estado de forma, nutricional o de hidratación de los participantes, estén igualadas en todas las condiciones.

Tip 7. Comprueba que las variables dependientes son relevantes. Es decir, que haya medidas objetivas, además de auto-informes, y que haya medidas directas de salud, rendimiento o recuperación y no sólo proxys.

Tip 8. Comprueba que los efectos son relevantes. Es decir, no sólo que hay significación estadística sino que la asociación es fuerte, en el caso de estudios observacionales, o que el efecto es grande, en el caso de los experimentales.

Tip 9. En estudios experimentales comprueba cuál o cuáles han sido las condiciones de control, es decir, las condiciones con que se compara el tratamiento experimental y sirven de referencia. Como puse antes como ejemplo, que un régimen de entrenamiento de dos días de intensidad por semana sea mejor que otro con cero días de intensidad no nos dice qué pasaría con un día de intensidad por semana o tres días de intensidad por semana. Los efectos de quitar un día o añadir un día de intensidad a la semana no necesariamente son proporcionales.

Tip 10. Si se trata de un estudio individual y no un meta-análisis, busca más resultados similares, busca que el estudio se haya replicado. Y, en todo caso, verifica que el resultado tiene coherencia evolutiva; es decir, si hay resultados contradictorios, lo más probable es que el que concuerda con lo que hemos vivido durante la evolución y, por tanto, con lo que somos, sea el correcto. Vaya, que por mucho que lo diga un estudio, una pastilla nunca va a ser mejor que la actividad física de alto volumen y con pinceladas de intensidad o una alimentación densa nutricionalmente, basada en alimentos frescos, variados y de temporada, porque eso es lo que hemos practicado durante el 99% de nuestra historia y nos ha forjado como somos.

CONCLUSIÓN

Un método o herramienta ha de estar basado en evidencia para ganarse nuestra confianza. Por supuesto. Pero, como muchos vendehúmos se han dado cuenta de la importancia que cada vez más damos a ese respaldo científico, no han tardado mucho en incorporar la etiqueta de “demostrado en estudios” a sus productos. Pero claro, y aquí está la madre del cordero, hay estudios buenos, malos y muy malos. No es igual uno observacional que uno experimental, no es igual uno en animales que uno en humanos, no es igual un estudio individual que un meta-análisis, no es igual una medida directa del rendimiento o la salud que un proxy indicator, no es igual riesgo relativo que absoluto, no es igual significación estadística que relevancia clínica o no es igual un estudio independiente que uno financiado por una empresa interesada. Todo eso y más hemos aprendido hoy con la esperanza de que la ciencia no nos parezca toda igual porque, quiero pensar que ha quedado meridianamente claro, no lo es en absoluto. Tienes el conocimiento, ahora toca usarlo para separar ciencia de la buena de ciencia comprada por la industria para obtener la, por desgracia, manida etiqueta “basado en evidencia” y vender productos dudosos a precio de oro.

Corresendas, ojalá hayas aprendido y disfrutado a partes iguales. Ya sabes que ése es mi mayor deseo y que agradezco que si aprendiste y disfrutaste, te suscribas, comentes, pongas estrellitas y compartas con más y más corresendas. También puedes seguirme en IG: correrporsenderos, todo junto.

Nos encontramos aquí en siete días, si no antes por el monte. Hala, a pisar sendas (y leer ciencia con ojos expertos).