¿Cómo las revistas académicas “hacen un papel mejor”?

tl; dr Lo leen, hacen que otras personas lo lean. Sugieren cambios. Estas suelen ser mejoras.

Esta respuesta refleja mi experiencia como editor asociado de un par de revistas de nivel medio (PLOS One y el British Journal of Mathematical and Statistical Psychology), en ciencias sociales / conductuales. Las experiencias de revistas de alto nivel que emplean editores de tiempo completo (Naturaleza, etc.) son probablemente muy diferentes; otras ciencias también pueden ser muy diferentes.

No creo que siempre lo mejoren, a veces lo empeoran. Andrew Gelman ha escrito en su blog (www.andrewgelman.com) que prefiere escribir libros a escribir artículos de revistas, porque entonces está escribiendo para el lector, no para el revisor / editor. De todos modos, volveré a eso.

Me gusta la filosofía (y olvido de dónde es) que el propósito de los editores y revisores es evitar que los autores se vean estúpidos. Si rechazo un artículo, me gusta pensar que es por el bien del autor (no siempre están de acuerdo). Hay algunas ocasiones en las que he pensado “Gracias a Dios, el revisor / editor lo vio, o me sentiría estúpido cuando alguien lo señaló después de la publicación”. (Estoy involucrado en este momento en un proceso en el que se retiró un artículo, imagino que el autor desea que alguien haya detectado el problema antes de enviarlo a la naturaleza).

Creo que esto depende en parte de cuál creas que es el propósito del artículo. Miro muchos documentos de metodología de ciencias sociales / psicología. Leí el resumen y dice “El método X es bueno”. A menudo eso es todo lo que me interesa, y servirá. Quiero saber que el periódico demuestra eso, y confío en que otras personas lo hayan leído, y si no fuera cierto, lo habrían dicho. En cierto sentido, el papel es redundante después de haber sido revisado e impreso, y apenas importa si nadie vuelve a leerlo todo. (Pero en ocasiones, exploraré por qué dijeron que el método X es bueno y veré si puedo extenderlo de alguna manera).

Las revistas mejoran los artículos al tener un editor y algunos revisores (generalmente 1-4) que leen el documento y lo comentan. Potencialmente, esto mejora los documentos de varias maneras.

  • El documento es rechazado porque no es interesante o tiene algún defecto. Me gusta pensar que cuando yo (como revisor o editor) rechazo un artículo, ayudo al autor a saber qué hacer para mejorarlo la próxima vez, o tal vez recomendar una revista que podría estar más interesada en él.
  • Las cosas pequeñas como los errores tipográficos se corrigen, el idioma se corrige. Me sorprende la cantidad de documentos que veo que se han enviado que son realmente terribles: no saben cómo hacer referencia, o simplemente no hacen referencia. No tienen un resumen. El inglés es tan malo que realmente no sabes lo que están tratando de decir. Muy, muy ocasionalmente revisaré un artículo y haré correcciones. Por lo general, les pido que encuentren a alguien que me ayude a mejorarlo. Me siento un poco mal haciendo esto: no creo que solo porque su primer idioma no sea inglés deba estar en desventaja, pero creo que si envío un documento para revisión que está plagado de errores, los revisores no se verán favorablemente en eso.
  • Los revisores a menudo llegan a un artículo desde una perspectiva ligeramente diferente, lo que puede ayudar. Hago muchas revisiones estadísticas, donde no estoy interesado en la sustancia (hojeo la introducción, miro la discusión [como dijo un amigo mío una vez (y no sé si estaba citando a alguien más) , “El método y los resultados son los hechos, el resto es especulación”). Tiendo a pedir muchas cosas pequeñas: me gustan los intervalos de confianza y los tamaños de los efectos. Los autores podrían no darse cuenta de por qué son importantes. (Mi esposa hace muchos metanálisis, necesita tamaños de efectos).
  • Los revisores tienden a pedir que se aclaren muchas cosas. A menudo, esto mejora la legibilidad del papel. En verdad, ellos (o nosotros) deberían hacerlo más: me encuentro leyendo documentos y cuestionando oraciones individuales, tratando de entender exactamente lo que significan. No puedo imaginar que la gente haga eso con los papeles que leo, pero tal vez lo hacen.
  • A veces los revisores sugieren que un documento tiene algunos aspectos notables, pero el enfoque podría mejorarse. Esto podría implicar una reescritura fundamental. A veces me parece una decisión difícil, tanto como autor, editor y revisor. Ayer estaba trabajando en un documento con colegas: los revisores querían que incluyéramos una medida en el análisis, y pensaron que era importante. No habíamos incluido esa medida.
  • Las revisiones y las cartas del editor pueden ser muy, muy cortas o muy, muy largas. He tenido una revisión que decía “Este documento no tiene ningún interés teórico y debe ser rechazado”. He tenido amigos que han tenido reseñas de 15 páginas separadas. Estuve involucrado en un artículo (5000 palabras) donde la carta que abordaba los comentarios del revisor tenía 40 páginas.
  • Es casi inaudito que un documento sea aceptado sin revisiones (nunca he visto que suceda), y dos revisiones no son inusuales. Esto significa que hay muchas posibilidades de pulir el papel. Me siento mal cuando hago un comentario sobre un artículo revisado que podría haber hecho en la primera presentación, pero estoy tratando de ayudar al autor (ver arriba),

Pero los revisores y editores pueden empeorarlo:

  • Quieren detalles de la pequeña cosa que les interesa; el revisor quiere que cites su artículo, que uses su método, que des detalles de lo que les interesa. (Me doy cuenta de que hago esto, y me gusta pensar que me detengo. Estoy interesado en la medición, y tentado a pedir detalles esotéricos sobre la medición.) Un autor con el que estoy trabajando en este momento para un artículo tiene un revisor que está particularmente interesado en un enfoque particular y quiere que el autor compare su enfoque con el enfoque. Es una simulación de Monte Carlo: el autor cree que tomará 3 meses de tiempo en la computadora, y no estoy convencido de que valga la pena. Pero es difícil rechazar a alguien cuando le ha hecho un favor al proporcionar una revisión.
  • Los editores (casi) siempre quieren que acortes los documentos. Lo que significa que se omiten detalles y cosas importantes. Escribí un artículo usando algunos métodos razonablemente complejos (1). Pensé que era genial e introduje este enfoque a personas que tal vez no sabían que existía. Era algo así como 3000 palabras (me olvido de los números exactos), el editor lo aceptó sujeto a reducirlo a algo así como 1500. Ahora es completamente incomprensible. No creo que se haya citado nunca, y no me sorprende.

(1) Era un modelo de supervivencia en el tiempo discreto con una covariable variable en el tiempo que fue moderado por el tiempo, si le interesa, y es casi seguro que no. http://www.ncbi.nlm.nih.gov/pmc/…

Creo que Jeremy Miles hace algunos buenos puntos aquí.

Solo me gustaría enfatizar que las mejoras clave son en términos de ciencia. Es cierto, realizamos la edición de todos los documentos que publicamos y redibujamos las figuras si es necesario, que son cosas que mejoran mucho la legibilidad de un documento.

Pero la mejora principal proviene del proceso de revisión. Como Jeremy señala que los revisores hacen muchas preguntas aclaratorias. Y se aseguran lo mejor que pueden de que un documento sea científicamente sólido. Eso significa que a menudo se agregan nuevos experimentos o se mejora la discusión científica. Estas mejoras durante la revisión por pares pueden ser bastante sustanciales. Y al menos para las revistas de alto impacto esto sucede con mucha frecuencia.

Y, por supuesto, también se podría decir que una mejora en la calidad es lo que no lo convierte en una revista. Documentos revisados ​​por los editores, o rechazados después de una revisión por pares, ya sea por motivos editoriales o por cuestiones técnicas, por ejemplo, las afirmaciones realizadas no tienen fundamento.

Entonces, en mi opinión bastante subjetiva sobre el tema (como editor), creo que las revistas mejoran mucho los artículos. Al menos esa es mi experiencia a diario. Y la revisión editorial también se suma a la calidad general de los artículos publicados.