¿Por qué no hay una comunidad en línea centralizada para discutir publicaciones académicas?

No estoy seguro de que tal foro resulte en una mejor ciencia. Los artículos revisados ​​por pares ya han tenido muchos ojos en ellos, en muchos casos de 5 a 7 revisores, dependiendo de cuántos intentos se requirieron para publicar el documento, y podría haber incluso docenas de revisores si el documento termina siendo rechazado por un par de revistas antes de que se publique. La mayoría de los documentos, como dice el OP, no son lo suficientemente impactantes ni lo suficientemente interesantes fuera de su pequeña comunidad de expertos en el campo, y la gran mayoría de las personas no estarán interesadas en deconstruirlos o incluso en analizar los resultados o métodos. con un peine de dientes finos.

Si el documento se basa en grandes datos, por ejemplo, muchos documentos de genómica, cualquiera puede descargar los datos y analizarlos desde cero, pero eso puede llevar meses o años, y para que otro científico decida hacer eso, tiene que haber algún incentivo. como una publicación resultante o algo por el estilo.

En última instancia, discutir la metodología a través de comentarios en un foro no será muy útil, porque si no se llevan a cabo nuevos experimentos o nuevos análisis, al final es solo una opinión, no una ciencia.

Por supuesto, si el documento en cuestión afirma que, de ser cierto, cambiaría por completo un campo, como el famoso artefacto “ADN de arsénico” (http://retractionwatch.com/2012/…), entonces muchos científicos realmente querrán investigar Además, no solo critica y plantea la posibilidad de fallas metodológicas o resultados de artefactos, sino que también hace experimentos. Este caso es un buen ejemplo del uso de sitios en línea para discutir sobre ciencia; esos sitios incluyeron el sitio web de la revista que publicó el artículo en primer lugar.

El ejemplo del “ADN de arsénico” demuestra que existe una comunidad de científicos en línea, simplemente no centralizada, que hace un buen trabajo al seleccionar datos que en teoría respaldan un resultado que cambia el juego. Sugiere que la centralización no daría más ventajas a la hora de vigilar la calidad de la ciencia o cuestionar la solidez de las afirmaciones o interpretaciones.

Obviamente, el fiasco con “Arsenic Life” expuso cuán defectuoso es el sistema de revisión por pares, y también la presión que las revistas de primer nivel como Science sienten para publicar resultados glamorosos que van a ser titulares en la prensa. No hay duda de que el sistema es defectuoso. Sin embargo, hasta ahora nadie ha sido capaz de encontrar un sistema mejor, y muchos de nosotros los científicos desearíamos que hubiera una mejor manera de revisar los artículos y una mejor manera de publicar ciencia. Deberíamos (y lo haremos) seguir intentándolo.

Muchas rasones:

  • Hay miles de artículos publicados todos los días, no se pueden discutir. Si hubiera hilos para todos, o muchos papeles, habría demasiados hilos para encontrar los que quiero.
  • Tan pronto como un foro se hace demasiado grande, hay demasiadas cosas para leer.
  • A la gente le gustan diferentes aspectos de diferentes foros.
  • Algunos foros están dominados por diferentes personas. Esto les da un ‘sabor’ diferente. A algunos les gustará, a otros no. Tan pronto como especifique que hay un foro, a algunas personas no les gustará la gente que lo domina, y comenzará uno nuevo. En un foro en el que estoy, alguien recientemente publicó un artículo y dijo que el título era engañoso. El autor se unió para dar alguna explicación. El póster original respondió y les dijo al autor que deberían (básicamente) disculparse. El autor me dijo que no iban a responder. Nadie más se unió. El OP nunca iba a ser persuadido. El autor solo iba a perder grandes cantidades de tiempo.
  • La mayoría de las personas son imbéciles. No estoy interesado en lo que tienen que decir.
  • Es un poco como las preguntas que ves que dicen “¿Qué es un buen libro sobre X?”
    (En los foros que frecuenta, es “¿Qué es un buen libro sobre estadísticas?”). Hay un millón de respuestas, desde diferentes perspectivas. ¿Es usted un médico que estudió matemáticas por última vez hace 20 años? ¿Es usted un matemático de doctorado que quiere ramificarse? O un programador. Diferentes personas tienen diferentes perspectivas: no hay una sola respuesta. No frecuenta foros populares entre (digamos) economistas. Me resulta muy difícil entenderlos, porque estamos hablando de lo mismo, pero usando un lenguaje diferente y viniendo de un lugar diferente. No quiero discutir documentos con economistas, quiero discutirlos con personas como yo.

La revista Basic and Applied Social Psychology publicó recientemente una página editorial en tandfonline.com indicando que las pruebas de significación no se utilizarían en la revista. Esto generó una discusión por todas partes, y los estilos de la discusión fueron diferentes. Por ejemplo: una revista de psicología prohibió los valores p y los intervalos de confianza; ¿Es sabio dejar de usarlos? , Página en reddit.com, Página en errorstatistics.com, LISTSERV 16.0 – Se requiere inicio de sesión (debe registrarse para eso), la revista Psych prohíbe las pruebas de importancia; blogger de estadísticas inundado de correos electrónicos: modelado estadístico, inferencia causal y ciencias sociales, comentario de ASA sobre la prohibición de una revista de pruebas estadísticas de hipótesis nulas. Probablemente hay muchos más.

Necesitamos mercados libres en discusión, no foros de discusión impuestos de arriba hacia abajo por los burócratas.

Los foros de ciencia y discusión no van bien juntos. La mayoría de los científicos están entrenados para no publicar una opinión a menos que sea muy segura, ya que podría arruinar su reputación si se le considera equivocado, y la mayoría de los científicos están muy ocupados y, por lo tanto, no tienen tiempo para investigar muchos otros papeles suficientes para hacer comentarios definitivos.

Además, la ciencia académica puede ser un mundo pequeño. Si critica el documento de otra persona, ya sea que tenga razón o no, puede que le preocupe que esta persona o alguien en su laboratorio revise su próximo documento o su próxima subvención. Con pocos incentivos para compartir sus pensamientos, eso es un gran costo. Por supuesto, podría publicar de forma anónima, pero en realidad no hay ningún incentivo.