¿Cuál es la mejor manera de verificar la investigación científica?

Existen diferentes versiones de la revisión por pares, por lo que el solo hecho de ser revisado por pares no es en sí una buena forma de saber si es un trabajo que valga la pena. El artículo publicado en una revista de calidad, por ejemplo, es una buena indicación de su confiabilidad e importancia. Esto se puede verificar mirando el índice de citas de esa revista, que le da una idea de su impacto en la literatura científica. El índice de citas es, literalmente, el número de otros documentos que utilizan la publicación original para investigación por año. Los mayores impactos se encuentran en revistas como Nature and Science alrededor de 25-30, mientras que las revistas con menores impactos publicarán, en promedio, artículos con menos interés para la comunidad científica en general. Dicho esto, cualquier revista con un índice superior a 1 está publicando trabajos que se están abriendo camino en otros artículos científicos y están ayudando a avanzar en el mundo científico. Otra cosa que puedes ver son las citas mismas. ¿Qué dicen otros documentos sobre ese trabajo original que estás tratando de resolver? Si mucha gente cita ese documento, generalmente significa que los expertos en el campo creen que los contenidos son correctos y útiles para su trabajo. ¡Por otro lado, la única forma de realmente “saber” si un trabajo científico es correcto o no es probar el estudio usted mismo! Sin embargo, ahí es donde esas otras citas pueden ser útiles. ¡Es posible que hayan usado el trabajo original en los suyos, o que se hayan basado en sus estudios, o incluso hayan usado sus métodos para replicar el trabajo y probar cosas nuevas!

Si quieres aprender más sobre este tipo de cosas, ¡mira mi podcast! El podcast científico loco

A menudo me encuentro con este problema al editar artículos de Wikipedia. Primero, no es una propuesta de todo o nada. A veces, el 50% de los científicos que estudian un tema en particular están de acuerdo con la teoría A, el 25% con la teoría B, el 12,5% con la teoría C, etc. Eso significa que sigue siendo una “pregunta abierta”.

En ese caso, puede buscarlo en Google Scholar, leer algunos resúmenes, descargar algunos trabajos de investigación, solo para tener una idea de dónde están las cosas.

No solo puede contar la cantidad de trabajos de investigación, sino que necesita una idea de la gravedad de las revistas. Además, si lees lo suficiente sobre el tema, te haces una idea de quiénes son los principales expertos.

Si todo lo demás falla, vea lo que Scientific American tiene que decir al respecto. Usualmente lo hacen bien. Sin embargo, debe leer los artículos detenidamente. A veces tienen historias sobre nuevas teorías que no son ampliamente aceptadas. Mencionan esto al principio y al final del artículo, incluso citando a un científico que no está de acuerdo, pero el medio está escrito desde el punto de vista de los científicos que hicieron el nuevo descubrimiento.

Tienes razón en ser escéptico de los artículos publicados. Un doctorado parece hacer que algunas personas piensen que pueden pronunciar algo como cierto por el peso de su autoridad. La revisión por pares a menudo involucra a no más de tres personas con puntos de vista comprensivos que leen el documento antes de publicarlo. Depende de usted leer el documento en profundidad y buscar las fallas comunes en la ciencia, como el sesgo de confirmación, ignorando aquellas cosas que no respaldan sus conclusiones.

Un gran ejemplo fue publicado en la revista Science el 15 de abril de 2011. El artículo de Koojiman et. Alabama. afirma que una bicicleta puede ser estable sin efectos giroscópicos o de ruedas. Si bien respaldan la afirmación, hacen una serie de otras afirmaciones que son falsas y que se pueden descubrir fácilmente por no abordar los resultados negativos.

Afirman que su modelo matemático predecirá la estabilidad, pero no podrán verificar a través del experimento. Mencionan algunas configuraciones inestables, pero solo basan esto en su análisis y no en pruebas reales. Las pruebas mostrarán que, de hecho, no todas las configuraciones a las que apuntan son inestables y solo tienen una prueba real para confirmar su teoría.

La segunda cosa a tener en cuenta es lo que otros dicen sobre el periódico y por qué. Cuando se publicó este documento, también enviaron comunicados de prensa a todas las revistas científicas que pudieron y se imprimieron muchos artículos pequeños que decían qué logro había tenido lugar. Este tipo de soporte falso es un buen indicador de que no todo es cierto. Como consecuencia, una persona que busca en este tema encontrará este poco de mala investigación una y otra vez, mientras que los documentos más significativos deben ser descubiertos con persistencia. La manipulación de la percepción pública es un comportamiento siniestro que debería hacerte profundizar.

“Ejemplo, si leo un artículo científico que dice algo así, ¿cómo hago para verificar su validez”.

Le dice a su postdoc que vaya a replicar el experimento.

Oh, no tienes un postdoc? Bueno, tienes un estudiante de doctorado o dos con el conjunto adecuado de habilidades, ¿sí?

¿Tampoco tienes un estudiante de doctorado? Bueno, tienes espacio en el laboratorio y ahora estás a punto de darle un buen uso.

No hay espacio de laboratorio? Hmmmm … bueno, creo que vas a tener que …

dar por sentado su investigación y que debo creerlo simplemente porque tienen un doctorado o porque el documento ha sido revisado por pares.

Si no tiene las habilidades y el equipo necesarios, no puede verificar las afirmaciones hechas en un documento. Punto final.

Para hacer esto más obvio, pasemos la cuestión de la ciencia a la arquitectura. Te entrego los planos para un nuevo rascacielos. ¿Cómo verificaría (sin educación en ingeniería estructural) que no se va a caer?

Tiene dos opciones: 1) obtener un doctorado en ingeniería estructural, o 2) contratar a alguien que tenga dicho título.

Haz dos preguntas:

1. ¿En qué se basa? El conocimiento científico no sale de la nada. Se consideran nuevos descubrimientos que son buenos porque son compatibles con la base de conocimiento existente. Cuando Heinrich Hertz anunció que había encontrado una forma invisible de energía (ondas de radio), la razón más importante que fue aceptada como descubrimiento fue que sus ondas se comportaron exactamente como las ecuaciones de James Clerk Maxwell dijeron que lo harían.
2. ¿Qué se ha construido sobre él? Un buen descubrimiento científico no tiene “punto muerto”; en cambio, lleva a los científicos a nuevos descubrimientos que tienen sentido según el descubrimiento original. En mi ejemplo anterior, los resultados de Hertz proporcionaron más evidencia de los resultados de Maxwell porque mostraron que las predicciones de Maxwell se hicieron realidad.

Estoy de acuerdo con usted, no debemos creer todo solo porque ese cierto alguien lo dijo, estoy totalmente en contra de esto.

Para hacerlo, primero busque diferentes personas de diferentes regiones que repitan lo mismo y obtengan resultados similares o más cercanos, si esto no es suficiente para usted, luego investigue si puede.

Todos nos damos cuenta de que el mundo está cambiando todos los días, y lo que una vez estuvo bien podría estar mal mañana, en la facultad de medicina lo sabemos de memoria y estamos viviendo con eso. Lo que estoy tratando de decirte es que nadie está 100% correcto ni 100% equivocado, solo acepta este hecho y mantente actualizado para que puedas resolver las cosas.

Bueno, el PHD NO es una razón para tomarlo como cierto. Sin embargo, alguien con un doctorado, si está hablando en su campo específico de ser citado sobre ese tema, no es una falacia lógica.

Pero, la revisión por pares mejora el reclamo, ya que es de esperar que lo revisen otros que TAMBIÉN son expertos en el campo. Y sus hallazgos TAMBIÉN se hacen públicos. Es una de las principales razones por las que la ciencia es precisa. Alguien publica un artículo y otras personas que son expertos en el campo TAMBIÉN lo revisan.

Una de las cosas que hago es intentar ver si existe un consenso general en la comunidad científica, como en las teorías de la evolución, la gravedad y la teoría de los gérmenes.

Si no hay consenso, espero que se realicen más estudios por parte de fuentes acreditadas.

Usted lee el periódico e intenta repetir lo que se ha dicho en él. Si obtiene un resultado diferente, no confía en el papel. Si obtienes la misma respuesta, confías en el periódico por ahora. (puede seguir repitiendo el experimento, y si falla una vez y es por una razón válida, y no por su error, el documento está equivocado).

(Al hacer esto estás haciendo ciencia, felicidades)

La ciencia está en la misma posición que los periodistas cuando se trata de esto. Es tuyo decidir si confías en ellos, y lo único que pueden hacer es ser honesto contigo y brindarte toda la información que tienen. Y la mayoría de las veces eso es todo lo que necesitan.

Si no confía en las revistas, su única opción es repetir los experimentos usted mismo. La pregunta entonces es “¿por qué alguien debería creer sus resultados?