¿Cuáles son los signos de un mal artículo científico?

Esto depende un poco de lo que quiere decir con “buen” papel. Un artículo puede ser excelente, aunque sus conclusiones son erróneas. El documento de Einstein, Podolski, Rosen sobre lo que ahora se conoce como entrelazamiento cuántico podría calificar: concluyeron que debe haber algo mal con la mecánica cuántica, pero resultó que el realismo local era el problema. Así que estaban equivocados, pero no podrían haberlo sabido: los experimentos para demostrarlo tomaron varias décadas más para suceder. Sin embargo, sus ideas empujaron a las personas a pensar en enredos, lo que algún día podría incluso ayudarnos a construir computadoras cuánticas. Por lo tanto, en general, llamaría a un documento “bueno” si su exposición es clara y sus métodos son sólidos, independientemente de si las conclusiones son correctas o no.

Si conoce lo suficiente sobre el campo y tiene tiempo, la mejor manera de evaluar la calidad de un trabajo es leerlo con mucho cuidado e intentar reproducir sus resultados. Si puede hacerlo, y si los argumentos presentados en el documento no son triviales, probablemente sea un buen documento. Un mal trabajo puede tener una lógica de mala calidad, como ignorar alternativas importantes o exagerar las conclusiones. Algunas de estas cosas se pueden notar incluso sin pasar por cada detalle y cálculo uno por uno, pero mi experiencia es que extrañará muchos más.

Si no tiene tiempo para leer el documento detenidamente o si no tiene los antecedentes necesarios para comprenderlo, es mejor diferir la decisión a los demás. ¿Han comprobado otros científicos el trabajo? ¿Alguien ha replicado los hallazgos? Además, siempre es importante preguntar: ¿hay algún conflicto de intereses para alguna de las personas involucradas?

En general, cuanto más reciente sea el documento, y menos atención recibió de otros expertos en el campo, menos confianza tendrá en su evaluación del mismo. Tenga en cuenta que no digo que un documento sea malo si no es popular: muchos documentos “olvidados” han resultado ser muy importantes. Estoy diciendo que si carece de la experiencia para juzgar el documento usted mismo, y no sabe cuáles son las opiniones de otros expertos, entonces simplemente no debería tener una opinión sólida sobre el papel de ninguna manera.

Y, una última nota: nunca confíes en la cobertura mediática de un artículo científico, sin importar su fuente. Incluso las fuentes de buena reputación suelen cometer errores horribles y tergiversaciones. Esto se debe en parte a que los periodistas no entienden el trabajo, en parte porque tanto ellos como los autores del artículo quieren que las noticias suenen lo más sensacional posible. En cambio, siempre vaya por el papel en sí. Si no puede entender el documento, y es demasiado reciente (por ejemplo, en los últimos 5 años) para que otros científicos hayan replicado mucho, simplemente debe abstenerse de juzgar hasta que tenga más información.

Signos de un papel mal escrito:
* Oraciones muy largas.
* Muchas referencias a otras secciones.
* No hay una descripción clara de la contribución científica del artículo.
* No hay una descripción clara del trabajo relacionado.
* Se introduce la terminología, pero no se usa.
* Se utiliza la terminología que no se introduce.
* La terminología se usa de manera inconsistente.
* Lenguaje emotivo que intenta “vender” el trabajo, el sistema o las ideas en el periódico.
* Referencias a secciones que no existen.

Si bien no es exactamente la pregunta que se hizo, una pregunta más importante es quizás: ¿cuáles son los signos de un mal artículo científico:

* No hay trabajo relacionado / falta de contexto para el trabajo que se realiza.
* No se publica en una revista revisada por pares.
* Nadie más cita el papel.

“Juzga por ti mismo” es poco difícil si no estás familiarizado con los problemas comunes. Buenas preguntas para comenzar:

• ¿Es un experimento (algo fue manipulado deliberadamente) o un estudio (sin manipulación)?
• ¿Se probó una hipótesis, con predicciones explícitas hechas de antemano?
• ¿Hubo un grupo de control? ¿Fue apropiado el control?
• ¿Cuál fue el tamaño de la muestra? (Grande es mejor)
• ¿Se asignó al azar a los grupos de control y prueba?
• ¿La grabación de los datos fue doble ciego?
• ¿Se analizaron los resultados estadísticamente?
• ¿El artículo fue revisado por otros científicos?

Muchos de estos temas se mencionan en el trabajo de Ben Goldacre, como Bad Science y Bad Pharma .

Esto también puede ser útil (aunque se trata un poco más de informar que los propios documentos): una guía aproximada para detectar malas ciencias.

Hay dos formas muy fáciles.

Primero, observe la cantidad de veces que se ha citado un artículo. El trabajo importante es citado por otros investigadores. Si ha sido citado cien veces, es un artículo clave en el campo. Esta métrica no funciona tan bien para artículos recientes (publicados en el último año o dos).

Segundo, observe la prestigio de la revista en la que se publica un artículo. Esto a menudo se cuantifica por el “factor de impacto” de la revista, el número de citas que un artículo en esa revista recibe en promedio. Hay muchas excepciones, pero, como regla general, los documentos en revistas de alto impacto como Science o Nature (IF ~ 10) son más importantes que los de The Journal of Many Long Obscure Necessary Abbreviated Words (IF <1). El proceso de revisión por pares es más estricto para las revistas de prestigio. Sin embargo, parte del trabajo que publican es más emocionante que el sonido.

Si quieres ponerte elegante, también puedes mirar la sección de referencia de un artículo. Un documento deficiente a menudo cita otro trabajo realizado por los mismos autores para aumentar artificialmente su recuento de citas (ver el primer párrafo anterior), incluso cuando dicho trabajo no es relevante. Tenga en cuenta que todos los autores hacen esto hasta cierto punto, pero debe ser escéptico cuando una cuarta parte de las referencias son autocitas.

Editar: como me recuerda Brian, lo anterior son solo heurísticas y solo útiles para la detección. La mejor manera, con mucho, es leer y juzgar por sí mismo el periódico en cuestión, como dijo Peter; Pensé que podría ser lo suficientemente obvio como para no mencionarlo.

La conclusión no se desprende de los resultados del estudio descritos en el documento, la conclusión no es la única interpretación posible de los resultados, la conclusión no es la explicación más probable para los resultados, o la conclusión incluso se contradice con los resultados del estudio. Muchos casos de este tipo de problemas son probablemente deliberadamente engañosos, y este tipo de redacción incorrecta de un documento allana el camino para el pecado común del resumen de papel que informa erróneamente lo contrario de lo que el estudio realmente encontró. Como muchos lectores de artículos solo se molestan o pueden permitirse mirar el resumen, este tipo de tergiversación puede engañar a muchos.

Como dijo Peter, aprendes algo relevante no obvio al leerlo.
Pero eso lleva tiempo, por lo que la respuesta de Robert se basa en otros lectores y revisores.
En algunos campos, los documentos de la conferencia se revisan bien y el volumen de la conferencia enumerará el porcentaje de aceptación.
La publicación en línea está enturbiando las restricciones tradicionales.
Muchos libros editados comerciales con colecciones de papel no están bien arbitrados.

El valor de un trabajo está directamente relacionado con lo que ya sabes.
Por ejemplo, un “tutorial” o un documento de revisión tiene un gran valor cuando ingresa a un campo, pero puede no ser tan valioso para usted más adelante en su carrera.

Una gran cantidad de trabajos consisten en pequeñas variaciones del trabajo de los autores. Dependiendo de dónde comience a leer en esa “familia de documentos”, los primeros documentos que lea probablemente serán mucho más valiosos que los posteriores, ya que más adelante encontrará información repetida.

Los artículos de revista pasan por un proceso de revisión mucho más riguroso que los documentos de conferencia. Algunas revistas tienen mayor reputación que otras revistas. Es posible que desee tener eso en cuenta al principio.

Como otros mencionaron, si encuentra cierto documento al que hacen referencia varios otros, probablemente sea uno importante. En este sentido, incluso un documento no tan bueno puede ayudarlo al señalar otros documentos que le resultarán extremadamente útiles.

En otras palabras, si intenta investigar, no hay atajos. Debe buscar, leer y leer cualquier cosa que parezca relacionada con su problema y hacer su propia opinión.

Claramente, para mí, es 1) el uso extensivo de referencias secundarias. En lugar de citar al autor original, prefiere usar uno que resuma las ideas o los datos. El uso no inteligente de wikipedia que incluyo en este tema; 2) un método confuso o no claro, ya que no es un respaldo científico de su forma de sacar sus conclusiones; 3) sacar conclusiones de la caja, podrían ser agradables y estar bien escritas, pero si no están bien respaldadas por todo el método, son una especie de falsificación.

Tiene el logo del instituto creacionista jajaja.

Mi supervisor me dice que
gramática, puntuación, el tamaño de la fuente, la organización y la precisión de los datos