¿Cómo es ser un árbitro de diario (revisor)?

Revisión por pares en pocas palabras
Este es el proceso preciado por el cual el trabajo científico es examinado por una comunidad de ‘pares’. Después de escribir un artículo, los autores lo envían a un editor de una revista, junto con un boletín explicando por qué es importante y prometiendo que se citará mucho. El editor rechaza una parte de los envíos sin revisión por pares, y de otra manera selecciona a los árbitros y les envía el manuscrito de forma confidencial. Como parte de la presentación, los autores a menudo declaran a los investigadores con los que tienen un conflicto de intereses para que esos (con suerte) no sean elegidos para ser árbitros. Después de recibir todos los informes de los árbitros (1-3 por papel), el editor toma la decisión de aceptar o rechazar el papel, y todos los informes de los árbitros se envían a los autores del trabajo y a todos los árbitros (así Puedo leer lo que escribieron otros árbitros). Si el documento es aceptado o rechazado directamente, entonces el proceso ha terminado. Si se permite a los autores volver a enviar las revisiones, el manuscrito revisado podría volver a los árbitros nuevamente, dependiendo de la revista y la severidad de las revisiones.

Estructura de un informe de árbitro
En mi campo (física de la materia condensada) y probablemente en otros, los informes de los árbitros tienen una estructura común. El primer párrafo resume el documento y sugiere un curso de acción (aceptar, aceptar con revisiones menores, aceptar solo después de revisiones importantes, rechazar). El resto del informe justifica el curso de acción recomendado, por lo general sugiere mejoras, incluso si rechaza el documento, y a menudo hace preguntas a los autores.

Mi experiencia
Me tomo esta responsabilidad muy en serio y trato de evitar el comportamiento del árbitro que me molesta cuando estoy en el extremo receptor (o cuando lo hacen los árbitros corregidos en los documentos que estoy revisando).

  • En general, evito solicitar experimentos adicionales, porque esto es un arbitraje vago el 75% del tiempo. A menudo, simplemente no es posible hacer experimentos adicionales, y un buen trabajo de investigación contará una historia convincente con los datos que tienen.
  • Si no entiendo la técnica, aprenderé sobre ella (o me negaré a arbitrar). Leí muchos informes de árbitros que dicen ‘este es un documento de nicho solo para expertos en esta técnica’, y esto también es un arbitraje perezoso.
  • Trato de arbitrar el documento relativamente poco después de recibir la solicitud. Nada es peor que esperar dos meses por un tal vez, reescribir por un mes, esperar dos meses por un rechazo, enjuagar y repetir.
  • No me importan absolutamente los errores menores de gramática que estoy seguro de que los autores corregirán en la prueba final. Nada es más molesto que los árbitros que revisan el manuscrito con pinzas y un bisturí para descubrir cada error gramatical / tipográfico intrascendente como si fuera un descubrimiento trascendental. El objetivo del proceso de arbitraje es hacer sugerencias sustantivas .
  • No les pido que citen mi trabajo a menos que mi trabajo sea realmente relevante (en cuyo caso, probablemente ya lo hayan citado, y así es como llegué a ser árbitro).
  • De hecho, leo el documento y no planteo objeciones que se discuten / expliquen claramente en alguna parte del manuscrito.

Lo más molesto
A medida que los campos de investigación se vuelven cada vez más especializados, es más difícil encontrar árbitros que tengan tanto conocimiento como para ser árbitros calificados y no tengan un conflicto de intereses. Como resultado, se consigue mucha basura y algunos buenos documentos quedan relegados a revistas menores.

Para mí, es como hacer un servicio comunitario, que en realidad es. Personalmente lo considero un honor y parte de mi deber como científico en ejercicio.

Como lo expresó Inna Vishik, es un proceso de investigación de un trabajo antes de que esté listo para su publicación. Debido a que la cantidad de presentaciones es tan grande, es imposible que el proceso de revisión sea llevado a cabo únicamente por el personal de la oficina editorial. Por lo tanto, la responsabilidad de revisar un manuscrito debe delegarse en los científicos en ejercicio. Una cosa importante a tener en cuenta es que a nadie se le paga por hacer algo como esto. En otras palabras, ¡es como escribir una respuesta en Quora! En el mejor de los casos, recibirá una nota de agradecimiento o un certificado de agradecimiento, que en algunas sociedades profesionales, puede obtener cookies gratuitas en ciertas ocasiones (aunque es poco probable). Algunas revistas pueden ofrecerle un descuento superficial en la tarifa de publicación (que la mayoría de la gente no ve el punto de pagar ya que su artículo se publicaría de todos modos).

Creo que esto le da derecho a café y galletas gratis en la sesión de apreciación del árbitro en su reunión anual. Es decir, si se presenta al menos 1 hora antes de que comience y logra no ser pisoteado por las otras personas que también han recibido el certificado.

Personalmente, pienso en el arbitraje como en pagar. Envié documentos a revistas, los revisé voluntarios y los publiqué. Entonces, es justo que yo haga lo mismo por los demás.

La mayoría de las revistas requieren al menos uno o tres informes sobre el manuscrito antes de que pueda aprobarse para su publicación. Por lo tanto, como regla general, si publica un promedio de N documentos por año, al menos debe escribir 3 informes de N árbitros cada año para equilibrar las cosas. Teniendo en cuenta que muchas personas dejan la ciencia después de obtener su doctorado y nunca se les pedirá que sean árbitros, debe hacer más, especialmente si tiene estudiantes trabajando para usted. Si eres de un país de habla inglesa, estás mucho mejor preparado lingüísticamente para asumir la tarea de preparar el informe de un árbitro que decir alguien de Vietnam o Ucrania.

Tuercas y tornillos

  1. Mire el resumen y, si es posible, descargue el manuscrito para ver si estoy calificado para ser un revisor. También calcule cuánto tiempo necesitaría para revisar el documento. En general, cuanto menos familiarizado esté con el campo, más tiempo necesitaría. Explore las referencias para ver cuán familiar debería ser.
  2. Haga clic en sí. Dé una estimación a los editores de cuánto tiempo necesitaría para preparar un informe (generalmente dos semanas).
  3. Lea el periódico una vez. Pregúnteme cuál es el problema que el periódico intenta resolver. ¿Está tratando de modelar un fenómeno? ¿Medir algo para respaldar un reclamo en particular? ¿Presenta una nueva técnica (computacional o experimental)? ¿Se trata de construir un modelo de juguete para comprender una clase general de fenómenos? Puede que tenga que leer un poco yo mismo.
  4. Comprender el reclamo principal del artículo. ¿Es al menos consistente con nuestra comprensión de la física? Si pretende refutar una teoría bien respaldada o datos de referencia de uso prolongado, debería tener algunos datos nuevos y buenos argumentos. Algunas afirmaciones pueden ser bastante especulativas.
  5. Examinar los datos presentados. ¿Es coherente con la tesis presentada en el manuscrito? ¿Cuáles son las otras explicaciones posibles? ¿Escogieron un determinado conjunto de datos para poner su papel en la luz más favorecedora?
  6. ¿Cuáles son las otras posibles consecuencias de su tesis? ¿Han tratado los autores de refutar su propia tesis probando las implicaciones o resultados de su argumento? Por ejemplo, ¿han medido X o Y, o han convertido los datos en bruto en una forma que se puede comparar con la teoría?
  7. ¿El documento es coherente? ¿Se siguen las afirmaciones de los datos? ¿Hay alguna reclamación subsidiaria no respaldada? ¿Son suficientes los datos o la prueba?
  8. ¿Se hace referencia a los documentos de antecedentes correctos? ¿Han omitido los autores ciertos artículos para mejorar la apariencia de novedad?
  9. ¿Han proporcionado los autores suficientes detalles metodológicos para la verificación o reproducción independiente de sus resultados? Si la presentación es para una carta, pueden omitir ciertos detalles, pero deben completarlos en un seguimiento completo en papel.
  10. Escribir informe Resuma el manuscrito y evalúe las afirmaciones y la evidencia que contiene. Sugerir posibles cambios para hacer o nuevos cálculos / mediciones experimentales. Si esto último no se puede hacer, sugiera a los autores que moderen su reclamo. Además, sugiera cambios editoriales para que el documento sea más legible.

En general es una situación difícil. Tienes muchos problemas conflictivos:

  • Si el artículo está dentro de su tema de interés, es probable que conozca al autor y tenga alguna opinión sobre él. Por lo tanto, tienes un conflicto de intereses. Simplemente no hay escapatoria de eso. Pero si hace su trabajo de manera correcta y eficiente al limitarse al papel en cuestión, no tendrá ningún problema.
  • Es posible que no sea competente en el tema del documento. Pero es difícil encontrar árbitros, por lo que generalmente acepto cuando se me pregunta. Luego explico al comienzo del árbitro que no soy competente en el tema y que mi opinión es de alguien externo al tema. Veo al árbitro trabajar como el primer lector trabaja en un papel. ¿Es interesante para él? ¿Es correcto?
  • Cuestión de prioridad y originalidad. Si sé algo similar, lo indico. Pero no veo como mi deber hacer trabajo policial. Veo la repetición de declaraciones correctas como un mal menor que la publicación individual de resultados incorrectos.
  • En algunos casos, vemos mejoras que se pueden hacer al documento. Los sugerimos pero no somos autores, y solo los autores deciden.
  • Denegación o no. El revisor del artículo no está rechazando. Es el editor quien se niega o no. Es extremadamente raro que tenga que decir “este documento debe ser rechazado” o “este documento no es lo suficientemente bueno”. Este tipo de conversación es generalmente mala para los árbitros y es mejor limitarse al papel mismo.

Otras preguntas adhesivas:

  • Anonimato. Es difícil garantizar el anonimato de su árbitro. Su estilo es conocido, su opinión es conocida. Muy a menudo su nombre se adivina correctamente. Pero es mejor seguirlo.
  • Algunos editores, especialmente de revistas de acceso abierto, quieren aceptar el artículo de todos modos. Su punto de vista del árbitro es “mejorar el manuscrito”. Personalmente me niego a lidiar con eso: si quieren aceptar, que lo acepten.
  • El papel rechazado va de un diario a otro. A menudo se sugiere el mismo árbitro. En general, me niego a hacer otro árbitro, excepto si el manuscrito no ha cambiado, en cuyo caso se sirve al mismo árbitro.

En general, es un trabajo ingrato. Como también recibo otro árbitro de mis documentos, creo que hago un mejor trabajo en general al no limitarme a la presentación.

Es el equivalente académico de lo que Anders Ericsson llamó “práctica deliberada”. Requiere mucho esfuerzo y no es particularmente agradable. Sin embargo, recibe comentarios detallados del editor e, indirectamente, de los otros revisores (es decir, puede comparar su análisis con el de ellos). Este proceso ha sido invaluable en mi desarrollo como investigador.

He revisado tantos artículos para casi 20 revistas en las últimas tres décadas. Hay excelentes detalles sobre los procedimientos y factores importantes en las otras respuestas. Solo agrego mi sentimiento sobre el trabajo. Aunque realmente disfruto revisando documentos, aprendiendo de primera mano de ellos, pero lo encuentro como un trabajo difícil. Es como el trabajo de los jueces en los tribunales de justicia. La decisión puede tener un efecto vital en la vida de un estudiante o una nueva solicitud de postgrado para un trabajo. Cualquier error potencial en el juicio puede arruinar la vida de las personas y, por otro lado, puede dar la oportunidad a un charlatán de ascender en la escalera mediante el engaño y la fabricación de datos, lo que lleva a sintetizar un documento. Incluso cuando el manuscrito debe ser rechazado por falta de adecuación o mérito científico, dedico tiempo a dar los mejores consejos a los autores para mejorarlo y enviarlo a otras revistas. Es realmente una responsabilidad difícil.
Los mejores médicos de Toronto alegan haber falsificado datos de investigación

Supongo que hay una idea de “pagarlo”. Retribuyo a mi disciplina y a mis compañeros en mi campo revisando documentos, para que otros algún día revisen mis documentos enviados. Además, a veces disfruto de lo que leo y aprendo sobre ángulos nuevos e interesantes sobre literatura o ideas.

More Interesting

¿Escribir propuestas de subvención es un juego de suma cero?

¿Por qué algunos profesores hacen que su clase sea innecesariamente difícil?

Cómo sobresalir como asistente de investigación

Si tengo muchos espectadores en Academia.edu, ¿significa que estoy haciendo una investigación que es de gran interés para mucha gente?

¿Alguna vez un miembro del Instituto de Estudios Avanzados ha completado su trabajo más importante mientras estaba en el Instituto?

¿Cuál es el número promedio esperado de publicaciones de investigación anuales de una facultad de seguimiento / tenencia en una institución R1 promedio en el campo de la informática o los sistemas de información sobre una base anual?

¿Los profesores en los departamentos de negocios de las universidades tienen que publicar artículos y libros como otros profesores?

¿Cómo logró NUS obtener el primer puesto en el ranking de universidades asiáticas de QS?

¿Cuál es el propósito de obtener un doctorado si no desea tener una carrera de investigación?

¿Los profesores siguen siendo amigos de los estudiantes fuera de la academia?

¿Qué se siente tener un asesor de doctorado significativamente más inteligente que usted?

¿Cómo debo gestionar la primera reunión con un profesor para discutir oportunidades de investigación?

¿Es más probable que las personas recuerden el contenido de una charla académica individual cuando la charla se presenta de forma aislada, en comparación con cuando la charla se agrupa con otras charlas (como en una conferencia)?

¿Qué es la teoría integral?

¿Cómo es la investigación de ML en la industria versus la academia?