¿Qué tan viable es hoy el sistema académico de revisión por pares?

El principal problema es que es demasiado lento y arcaico. El modelo arXiv en física es un poco la versión manipulada por el jurado de lo que debería ser.

De los 5 artículos que publiqué antes de renunciar, uno tardó 2 años en atravesar el sistema. Creo que empeoré las cosas al hacer el tipo de cosas no clasificables que no caben fácilmente en ningún lado, y desencadena ciclos de revisión adicionales en todas partes simplemente porque los revisores dicen “¿eh? ¿Por qué demonios se envía esto aquí?”

Es un ciclo de retroalimentación demasiado largo para mantener motivados a personas como yo, por lo que la única alternativa para crear un esquema de motivación decente para usted es aumentar su frecuencia de envío para que en cualquier momento reciba comentarios sobre al menos uno de sus documentos, y al menos uno de sus documentos sale por la puerta en un mes determinado. Pero esto es cantidad sobre calidad, y hay personas (como yo) a las que simplemente no les gusta ser una línea de ensamblaje de papel y elaborar cosas en un horario de publicación o perecer.

arXiv parece cortocircuitar el bs en cierta medida al permitir que se produzca una discusión entre pares en una etapa de preprocesamiento amigable. Realmente me gusta eso. Otro cortocircuito común son los libros editados. He hecho algunos capítulos de libros y, en general, es una experiencia más agradable y más rápida, pero luego se consideran una muesca por debajo del prestigio del mundo de las revistas, por lo que paga un costo si usa ese canal para acelerar su tubería, y haz tu trabajo más divertido y sociable.

El segundo problema es con ciego / doble ciego. He estado yendo y viniendo sobre esto varias veces, y finalmente concluí que realmente no ayuda. Los 3 (abierto, ciego, doble ciego) tienen sus problemas sociológicos y de sesgo únicos, pero pensé que, en general, ciego era una buena opción.

Pero ahora, habiendo experimentado cómo en situaciones como los blogs puede obtener procesos fantásticos de revisión por pares, con personas muy inteligentes (y apropiadas), que van a una velocidad impresionante, con flexibilidad en el nivel de anonimato, no puedo volver a lo académico publicación. Simplemente ya no es divertido, y no creo que sea realmente mejor para investigar la “verdad” que algo como bloguear + comentarios abiertos.

Bloguear, por supuesto, aún no ha alcanzado el nivel en el que pueda manejar el trabajo académico pesado (al principio, instalé un complemento LaTeX en mi blog, con la intención de hacer publicaciones matemáticas de tipo casi académico, pero eso resultó no para adaptarse bien al medio). También hay problemas obvios que equiparan una comunidad de comentarios o una comunidad de enlace mutuo de blogroll con revisión por pares, porque el sistema puede deslizarse demasiado fácilmente en una sociedad de admiración mutua. Pero con algunos controles y equilibrios, puede llegar allí.

Creo que la publicación académica puede y eventualmente adquirirá una infraestructura similar a la de los blogs. La estructura actual de la publicación académica es obsoleta y desperdicia enormes cantidades de tiempo humano y talento produciendo basura procesada en exceso que en su mayoría simplemente se desvanece en los agujeros negros de los no citados.

Hasta que eso suceda, solo participaré si debo hacerlo.

Hay un tercer problema con la revisión por pares que no puedo ver cómo solucionarlo … la extrema sobre-especialización en general y el uso intensivo de la informática. Requerir que un revisor comprenda realmente el documento en detalle a un nivel en el que pueda evaluar su originalidad, corrección y no trivialidad, se está convirtiendo rápidamente en una demanda imposible. Nadie tiene ese tipo de tiempo. No podía entender 1/3 de los documentos que me pidieron que revisara y / o juzgué que tendría que estudiar algo durante 2-3 meses antes de ser lo suficientemente competente como para revisarlo. Y eso es solo para revisar. Si desea que los revisores comprendan a un nivel en el que puedan reproducir los resultados … demonios, tendrá que pagarles para dedicar los meses de trabajo a tiempo completo que llevaría. Especialmente en mi área, donde el modelado y la simulación son centrales, “reproducir” significa reprogramar los modelos desde cero o auditar el código. ¿Quién demonios puede hacer eso más? La mayoría de las veces, solo tenía que aceptar con fe que el código era correcto, basado en la plausibilidad superficial de los gráficos / tablas de resultados seleccionados.

Es importante distinguir entre la revisión por pares que ocurre antes de la publicación y la que ocurre después.

El proceso de revisión por pares previo a la publicación sigue siendo viable, pero algunas grietas están comenzando a mostrarse en áreas como las ciencias de la vida, donde el volumen de producción somete a los revisores y retrasa la publicación, a veces durante años. AÑOS ! Todo mientras las personas intentan despegar sus carreras. ¿Cuánto mejor se les habría servido a estas personas si hubieran dejado su trabajo en un repositorio similar a Arxiv y hubieran dejado que las citas y los comentarios se acumularan mientras se iniciaba el proceso de revisión por pares “oficial”? Desafortunadamente, no podemos hacer eso en las ciencias de la vida, porque hemos cedido el control de lo que trabajamos y cómo nos comunicamos con una industria que prohíbe tales prácticas. Esto es de lo que estoy hablando. Cuando, después de años de esfuerzos, los defensores de la reforma lograron obtener un repositorio de ciencias de la vida, solo para investigaciones financiadas por los Institutos Nacionales de Salud, y que no contienen ninguna investigación más reciente que 1 año (para que el editor aún pueda vender suscripciones), los editores presionó al congreso para que lo desmantelara y cualquier sistema futuro prohibido por la ley. ¡Imagínense al Instituto de Física o algo presionando para que Arxiv sea desmantelado y para que el establecimiento de futuros repositorios esté prohibido por la ley! Sin embargo, eso es exactamente lo que está sucediendo en las ciencias de la vida en este momento (ver HR3699), por lo que muchos académicos se niegan a revisar para estas organizaciones.

Dada la creciente carga de la revisión, el fracaso de la revisión por pares para evitar que se publiquen lamentables artículos de ciencias de la vida (ver el reloj de retracción), creo que veremos más revisión por pares posterior a la publicación con una configuración más parecida a Arxiv Todo lo que necesitamos es algún mecanismo para evaluar y filtrar las contribuciones que sea mejor que nuestro mecanismo actual, el Journal Impact Factor. Hay varios contendientes. Mi compañía, Mendeley es una, otro proyecto prometedor es http://total-impact.org

Estoy de acuerdo con James Fisher. El sistema de revisión por pares funciona tan bien como siempre. El proceso ahora es más rápido que nunca, aunque sigue siendo arcaicamente lento en términos de tiempo de Internet. Pero, en última instancia, la academia no puede ser tan rápida porque requiere contemplación y tiempo.

Hay problemas, pero no más que nunca y los problemas no tienen soluciones fáciles [*]. El arXiv es un gran paso intermedio antes del envío de la revista. Lleva el artículo a la audiencia académica y recibe comentarios útiles rápidamente. Para cuando el artículo llega a un diario, con frecuencia hay citas que pueden ayudar a evaluar si el documento es correcto o no. Si las citas dicen “no estamos de acuerdo con los resultados de este artículo”, obviamente, levanta una bandera roja para los revisores. Por otro lado, si el papel tiene numerosas citas que son consecuencia directa del papel, entonces es una aceptación obvia.

Actualmente en mi campo, las preimpresiones de arXiv son suficientes para estudiantes de posgrado y postdocs. Incluso para el profesorado, las citas son más importantes que en qué revista estás. Hay varios ejemplos de más de 100 documentos de citas que no se publican (de hecho, tuve uno por algún tiempo antes de que finalmente pudiera publicarlo varios años después ) y son mucho más importantes que una publicación de Nature que pasa desapercibida y, en última instancia, es irrelevante (que hay muchos ejemplos).

[*] Las batallas entre Newton y Hooke en la luz de la naturaleza son partículas u ondas (Newton finalmente prevalece incorrectamente sobre Hooke en la Royal Society) es un recordatorio útil de que el proceso no es perfecto (aunque esto fue un precursor de la revisión por pares moderna) .