¿Qué piensan los investigadores sobre la revisión por pares posterior a la publicación?

Bueno, solo puedo hablar por mí mismo: creo que es una excelente solución BandAid, si está bien implementada; pero no aborda el problema mayor de la “publicación”.

Hoy en día, la mayoría de los artículos aparecen en algún sitio como ARXiv, incluso antes de ser enviados a un diario; pero luego el diario toma una decisión binaria (Publicar o No publicar) que se supone que determina si alguien más lo ve alguna vez. Por supuesto, los manuscritos rechazados se envían inmediatamente a revistas “menores” y así sucesivamente hasta que encuentran uno dispuesto a “publicarlo”.

Esto es estupido Lo que realmente queremos es tener TODOS los documentos disponibles en línea tan pronto como sus autores los consideren terminados, y luego tener un mecanismo democrático pero efectivo para la revisión por pares que arroje una evaluación justa de si el trabajo es correcto, legible, interesante o importante.

Puede considerar esto como una forma de revisión posterior a la publicación, pero si se implementara bien, toda la idea de “publicación” podría descartarse, y una buena solución.

Ver por ejemplo http://opeer.org

No niego que haya problemas con el proceso de revisión por pares (ver esto y esto) y la práctica científica moderna no le da suficiente valor a la replicación. Sin embargo, los comentarios en línea (¿posiblemente anónimos? ¡Egad!) No son la solución. Si alguien tiene objeciones fácticas fundamentadas , tiene una serie de opciones como son:

  • Envíe un comentario de refutación a la revista donde se publicó el documento original. La mayoría de las revistas tienen un mecanismo para aceptar refutaciones.
  • Envíe una refutación como documento original, mostrando nuevos datos o cálculos que refuten las afirmaciones del primer documento.
  • Incluya una refutación como parte de un documento original, posiblemente en los materiales complementarios si solo está relacionado tangencialmente.
  • Publique un documento de refutación o comentario en ArXiv, si su campo usa ArXiv.
  • Cuando dé charlas, mencione la discrepancia entre sus resultados y el documento ofensivo, y defienda su punto de vista

Ciertamente estoy abierto a otras opciones de refutación, especialmente las más rápidas, suplantando a las enumeradas anteriormente, pero deben implicar un poco de supervisión y estar vinculadas a la reputación del autor, de la misma manera que un documento original. Se necesita mucho más pensamiento y esfuerzo para escribir un artículo (o incluso un comentario reflexivo que se publicará en una revista con su propio nombre) que publicar el equivalente de una revisión de yelp. Es justo que las ‘refutaciones’ a un documento estén sujetas al mismo nivel de escrutinio que el documento en sí, y los comentarios en línea sobre un artículo (especialmente los anónimos) no se ajustan a la ley.

Creo que esta es una gran idea, y que la gente ciertamente ha pensado. Creo que la única razón por la que no se ha implementado es política. Imagine una situación en la que critica el trabajo de otra persona, ¿publicaría sus críticas en línea para que todos las vean? considera lo siguiente:

  • tu reputación está en juego, escribiste el comentario
  • probablemente conozca al autor del artículo (la mayoría de los subcampos son pequeños)
  • ciertamente conoces personas en común con el autor
  • tu propio trabajo también está abierto a comentarios

Entonces, dado este nivel de presión social y de reputación, es muy poco probable que publique un comentario, a menos que sea anónimo. Por supuesto, una vez que lo hace anónimo, el autor no tiene absolutamente ningún incentivo para responderle, porque podría ser una persona aleatoria fuera de su campo (es decir, irrelevante).

Entonces, la pregunta difícil no es si es una buena idea, sino cómo estructurarla dada la consideración política. Me ENCANTARÍA escuchar pensamientos sobre este tema. Mi propia opinión es que cualquier comentario debe ir acompañado de datos. Entonces el comentario debe ser corroborado. Después de lo cual, similar a aquí, se puede votar “arriba” o “abajo”. Esto hará 2 cosas:
1. Presiona para hacer comentarios reflexivos (juego de reputación)
2. Asegúrese de que los comentarios no sean solo opiniones, sino que estén basados ​​en alguna evidencia (datos)

Tengo que estar en desacuerdo con Inna Vishik sobre los métodos actuales disponibles para presentar una refutación. Esto lleva demasiado tiempo, hasta ahora he estado involucrado con una pareja, y el proceso es absurdamente lento y anula el propósito de un proceso de ‘publicación posterior’, que no debería requerir editores y otros revisores.

Si ya ha sido revisado por pares de la manera normal, creo que es una buena idea. Ayer recibí un comentario sobre las implicaciones de un manuscrito publicado que puse a disposición en ResearchGate, y me alegré el año pasado de tener la posibilidad de comentar sobre un artículo publicado en una revista Frontiers que había citado mi trabajo, pero lo malinterpretó.

Sin embargo, no veo este tipo de comentario posterior a la publicación como una verdadera revisión por pares. Si me piden que revise un artículo, pongo de 2 a 6 horas en él y hago todo lo posible para que mi revisión sea integral, útil para evaluar la solidez e importancia del documento, y útil para los autores al revisar el documento para mejorarlo. . Si escribo un comentario en un artículo después de la publicación, es probable que sean unas pocas oraciones sobre un pequeño aspecto del artículo.

Si vuelvo a ver (antes de la publicación) un artículo que encuentro una pérdida de tiempo, encontraré una manera de decirlo con tacto, y trataré de encontrar una manera de ayudar a los autores a hacerlo más útil. Si (después de la publicación) leí un artículo que fue una pérdida de tiempo, no tiene sentido decirlo, y no lo haré. Si (antes de la publicación) leo un artículo que es realmente excelente, lo diré y explicaré por qué. Si (después de la publicación) leo un artículo que es realmente excelente, me sentiría conmovido al comentar sobre eso, pero es más probable que mi comentario sea “¡guau, excelente papel!” que cualquier cosa que lo ponga en contexto y explique cómo afectará el estado del arte.

Los comentarios posteriores a la publicación fueron muy comunes en los primeros días de la investigación académica; Sin embargo, en estos días el volumen de publicaciones es demasiado alto para hacer prácticas las revisiones posteriores a la publicación. Por cierto, las reseñas anónimas no valen nada. Si desea criticar un artículo, debe tener el coraje de defender su nombre y su reputación. Un proceso justo de revisión posterior también debería permitir a los autores originales proporcionar argumentos en contra y apoyar sus resultados. Este puede ser un ciclo interminable.

En mi opinión, citar y revisar un artículo dentro de su investigación es la mejor manera de validar o descartar trabajos previos. Esto lleva tiempo, pero creo que es la forma más justa. La mala investigación es ignorada y nunca citada.

Pienso que es una buena idea. Los documentos a menudo son revisados ​​por 2 personas (a veces una, a veces tres), hay muchos documentos que tienen errores que podrían haberse solucionado fácilmente, pero que estaban fuera del área de especialización de los revisores.

Ampliaré eso. Creo que es una buena idea, si las personas lo hacen, y si las personas responden.

Ya es bastante difícil encontrar revisores para los artículos tal como están. Hoy estaba editando un artículo (que heredé de otro editor) que seis o siete revisores ya se habían negado a revisar. ¿Esperas que encuentre más después de que se haya publicado? Al menos antes de que se publique, puedes influenciarlo.

En segundo lugar, será difícil lograr que los autores respondan o reaccionen. Puedes comentar mi artículo. Mi respuesta será:

  1. Gracias. Está en mi CV ahora. Tengo los puntos mágicos de carrera que me da. No hay razón para molestarme en responder.
  2. Incluso si quisiera responder, escribí ese artículo, basado en una beca de investigación, que (esencialmente) me pagó para escribir ese artículo. Esa subvención ya terminó, se quedó sin dinero. Tengo una nueva subvención, que me está pagando para escribir un nuevo artículo. Si alguien me pagara para revisar el artículo anterior (o incluso para responder a los comentarios), estaría encantado de hacerlo. En este momento, nadie está pagando por eso.

Creo que la revisión por pares posterior a la publicación (PPPR) es importante para la precisión. Los datos científicos siempre deben ser analizados para garantizar su calidad. PPPR puede tener algunos defectos, pero a pesar de esto, los pros superan con creces los inconvenientes.

Pero, aún debemos ser cuidadosos. Aunque creo que este es un gran sistema que se puede utilizar para encontrar errores y problemas en los artículos científicos, la politización de PPPR puede dificultar su implementación correcta. Encuentro algunos otros artículos que hablan más sobre PPPR, así como sitios que realmente usan PPPR.

https://www.labfolder.com/blog/h

http://www.sciencemag.org/news/2

http://retractionwatch.com/