¿Cómo podría mejorarse el sistema de revisión por pares?

Una cosa muy simple que se puede hacer para mejorar la revisión por pares es publicar los informes del árbitro junto con el documento, incluida toda la correspondencia entre autores / editor / árbitros si el documento se volvió a enviar con las revisiones solicitadas por los comentarios del árbitro. Algunos beneficios de publicar informes de árbitros:

  • Un aumento en la profesionalidad de los informes de los árbitros. Muchos de los informes que he visto (no solo en mis documentos) tienen un tono muy conflictivo y presentan críticas poco profundas. Además, muchos árbitros piden a los autores que citen documentos que obviamente son suyos (tanto por el anonimato). La mayoría de los documentos tienen más de un árbitro, por lo que un documento aún podría publicarse incluso si un árbitro da un informe negativo. La posibilidad de tener un documento no profesional en línea que hipotéticamente se remonta a ellos (las comunidades de investigación son pequeñas) motivaría a los árbitros a ser reflexivos y objetivos incluso cuando recomiendan que no se publique un documento. Y a medida que los árbitros intenten “anonimizar” su informe de árbitro, probablemente presentarán una evaluación más amplia de la literatura en el campo, más allá de sus puntos de vista individuales.
  • A menudo se publican documentos incorrectos, y generalmente al menos uno de los árbitros aprecia y señala los errores, incluso si son votados por los otros árbitros y el editor. Ver un argumento reflexivo acerca de por qué un artículo publicado es incorrecto sería muy útil para lectores no expertos y jóvenes ingenuos que todavía creen que todos los artículos publicados en revistas de alto impacto son correctos.
  • Récord histórico. La disidencia que ocurre mientras un campo está caliente a menudo se olvida una vez que se establece el registro científico. El debate completo no siempre se manifiesta en la literatura, e incluso si lo hace, la gente nunca lee los periódicos que estuvieron equivocados décadas después del hecho. Hacer que los informes del árbitro se publiquen con el documento lo pondría en el contexto adecuado.

Hoy en día, muchas revistas permiten materiales complementarios solo en línea para acompañar los documentos que publican. Incluir otra pestaña para los informes de los árbitros no requeriría una nueva infraestructura ni cambios en el proceso real de revisión por pares.

descargo de responsabilidad: no inventé esta idea, solo la apoyo.

Editar: Me di cuenta de que algunas revistas, como las comunicaciones de la naturaleza, están comenzando a hacer esto.

Tiendo a pensar que todo el trabajo que entra en la revisión por pares es la “materia oscura” de la comunicación académica. Me encantaría ver alguna forma de sacar más provecho de eso, en lugar de comprimir todo ese juicio cualitativo de expertos en una decisión binaria de “fue / no fue aceptado”. No propondría que las personas que hicieron una revisión con la expectativa de que sea confidencial la expongan públicamente, pero me gustaría ver más revisión pública.

También creo que es un poco tonto con los marcos de crowdsourcing actuales que el sistema requiera muchos recursos. Podríamos hacer mucho para obtener críticas de manera más eficiente y mejorar la calidad. Por ejemplo, con un sistema más escalable, podríamos pedirles a los revisores que solo revisen una imagen o figura (o varias personas) y obtengan mejores revisiones porque está más orientado a la experiencia del crítico y más rápido de completar. ¿Con qué frecuencia eres un experto en cada método o técnica utilizada en un artículo que estás revisando? ¿No sería bueno si solo se le preguntara sobre el artículo específico que le interesa o por el que es mejor?

También hay un problema con respecto a los revisores que son recompensados ​​por su trabajo. Lleva mucho tiempo dar comentarios útiles, y dado que no hay un sistema de recompensas real por su ayuda, esperan hasta el último minuto para enviar sus comentarios, y por supuesto, enviarlos directamente al límite, o incluso después de la fecha límite, no No suelen producir comentarios útiles.

También hay una ineficiencia en la búsqueda de revisores. Muchas veces, un editor de revistas usará a sus estudiantes de posgrado para ayudar a encontrar revisores o actuar como referidos iniciales, y estos estudiantes de posgrado a menudo están limitados por su experiencia en un área determinada. Puede haber un estudiante graduado en otra universidad que sería perfecto para revisar un manuscrito, pero el editor de la revista nunca los encontrará.

Si bien estos son problemas que estamos tratando de resolver con Scholastica ( http://www.scholasticahq.com/ ), suficientes académicos se han quejado de estas cosas en las que podemos estar seguros de que realmente son problemas.

Hay un artículo del profesor Andrew Abbot de la Universidad de Chicago, titulado ‘Publicación y el futuro del conocimiento’ ( http://home.uchicago.edu/~aabbot …) que también describe algunos de los problemas asociados con la revisión por pares.

– Rob Walsh
http://www.scholasticahq.com

La idea de Inna es una de las más importantes, creo. Solo quiero dar un giro más radical en el que he estado pensando recientemente.

En muchas ramas de la física, los artículos se publican en un servidor de preimpresión llamado ArXiv, normalmente al mismo tiempo que se envían a las revistas (este es un gran servicio en el campo, y es algo que otras disciplinas científicas deberían considerar copiar) . Lo que esto significa es que hay acceso libre y gratuito al contenido de su investigación en el momento de la presentación, y a menudo resulta en las personas que se verán más afectadas por su trabajo (y que están más familiarizadas con las preguntas que está intentando). para responder) habiendo leído y ofrecido sugerencias antes de que el proceso de revisión se haya completado. Estas sugerencias a menudo son al menos tan útiles como la revisión oficial, ya que esencialmente son los propios revisores.

Todo esto para decir, ya no estoy seguro de por qué publicamos artículos en revistas. Mi sugerencia sería eliminar por completo los envíos de revistas y finalizar el proceso en el envío de preimpresión. Si agrega una sección de comentarios al servidor de preimpresión (donde la creación de cuentas, para publicar, ya requiere autenticación de identidad y experiencia), el discurso académico completo en el documento estará disponible públicamente. Dado que los revisores pares ya no son remunerados, también sería una cuestión simple proporcionar comentarios oficiales revisados ​​por pares (por un miembro anónimo de la comunidad informado por su propia experiencia, así como por la totalidad de los comentarios disponibles de la comunidad en- grande). Los documentos que actualizan su envío para reflejar los comentarios de revisión por pares pueden recibir una bandera de “revisión por pares” que tomaría el lugar de aceptación en una revista.

Esto no solo ahorraría una cantidad significativa de dinero (las revistas cobran tarifas significativas) y eliminaría algunos efectos nocivos que el sistema de la revista tiene sobre la integridad académica (el deseo de evadir respuestas para ingresar en las revistas mejor clasificadas, etc.) también mejoraría el calidad de la investigación al abrir el sistema de retroalimentación más directamente a la comunidad en general. Como un bono socialmente extremadamente significativo, dado que la publicación académica en papel ya no sería una industria con fines de lucro (ridículamente, ya que ya nadie lee el artículo publicado, por ejemplo, en papel), no tendríamos estos académicos completamente ridículos. Los resultados están actualmente ocultos detrás.