¿No sería productivo e informativo tener un diario de resultados negativos?

En algún momento de 2012, junto con algunos colaboradores de la India, creé el Journal of Errology (enlace al comunicado de prensa a continuación) que recibió mucha atención pero falló en su esencia. Voy a comentar sobre este experimento fallido a continuación.

¿Tu experimento no funcionó? El Journal of Errology quiere saber de usted – Retraction Watch

Toda la idea comenzó a partir de una discusión pública en el sitio web ResearchGate: comparta y descubra investigaciones donde los científicos exponen y discuten su experiencia e ideas. Propuse exactamente eso como algo que falta en la investigación científica, enfatizando la necesidad de un foro para la discusión abierta de fallas experimentales. Algunos científicos jóvenes de la India, particularmente Mahboob Imtiyaz, se interesaron de inmediato y diseñaron la plataforma inicial y luego se pusieron en contacto conmigo para participar. Me sorprendió su entusiasmo y su enfoque gráfico sintonizado.

En este punto, contacté a muchos contactos en línea para difundir las ideas y la iniciativa, lo que resultó en comunicados de prensa masivos, particularmente dentro de Brasil. Di entrevistas, muchos investigadores vinieron a felicitarme, incluso fui invitado como orador en una conferencia sobre el tema. Sin embargo, con el tiempo, Mahboob y yo tuvimos que darnos cuenta de que la iniciativa no puede funcionar en la práctica, por varias razones. Primero resumiré los hechos a continuación.

1. Solo recibimos (menos de 10) presentaciones de autores oportunistas nunca oídos que intentan publicar artículos aleatorios sin relación alguna con el alcance propuesto de la plataforma;
2. Incluso cuando publiqué dos documentos / publicaciones de muestra en la plataforma, nadie apareció con preguntas o propuestas durante meses seguidos;
3. La sección de comentarios estaba constantemente inundada de spam desde una IP desconocida, que consideramos como un ataque digital amateur de motivación desconocida;
4. Todos los interesados ​​se dividieron entre amar la idea (la mayoría) y descartarla como poco original dada la existencia de revistas con resultados negativos en otros lugares. En nuestra plataforma y entrevistas explicamos claramente que la plataforma tenía como objetivo discutir los detalles sobre intentos y fracasos involucrados en proyectos publicados y en curso, lo cual es sensiblemente diferente de publicar hipótesis nulas;
5. Cualquier colega invitado a enviar una contribución lo ignoró o dijo “seguro que lo hará” sin ningún resultado, posiblemente debido al temor a la exposición negativa que se menciona en otra respuesta a continuación.

Finalmente después de ca. Diez meses sin que sucediera mucho, decidimos suspender el proyecto y Mahboob pasó a otro nicho de discusión relacionada con la ciencia. Particularmente siento que “dejó el bote” con demasiada facilidad, y todavía creo que falta este tipo de debate científico. Una mirada rápida a las revistas mencionadas que se enfoca en resultados negativos e hipótesis revelará que tampoco les fue fácil. Por ejemplo, los archivos del Journal of Negative Results revelan muy pocas publicaciones con un silencio intermedio prolongado. (¿Quizás deberíamos publicar sobre nuestro intento fallido allí?)

Creo que las principales razones de esta falta de interés en producir un debate abierto sobre errores y datos negativos son multifacéticas. Pero todo se reducirá a, dado el sistema establecido de asignación de fondos en Science, asignar un tiempo considerable para producir manuscritos no indexados de contenidos potencialmente embarazosos no es interesante para casi nadie en la academia. Aunque creo que hay muchos interesados ​​en leer tales manuscritos, parece poco probable que sean citados.

Por lo tanto, por ahora culpo al sistema y no a mis colegas por una falla general allí. Este es solo un ejemplo de los absurdos generados por los científicos gratificantes basados ​​en cifras de productividad irracionales. Un precio muy alto de hecho.

PD: Debo agregar que hay un canal establecido que podría usarse para este tipo de discusión. Este es Pubpeer en Buscar publicaciones y únete a la conversación. Para mí, es otro ejemplo más de cómo nadie se inclina a discutir sus fallas, ya que hasta donde no he visto a nadie, salvo que me he acercado a las plataformas para discutir la experiencia de fondo y los inconvenientes de sus propios documentos y proyectos. Cada vez que publicaba detalles de mis datos sin procesar e intentos fallidos, no participaban otros. Sin embargo, la plataforma es muy popular entre aquellos que están dispuestos a señalar con el dedo a otros de forma anónima (y, por supuesto, a los respectivos acusados ​​y algunos trolls de chismes). ¡Esta es la verdadera cara de la ciencia, damas y caballeros!

Creo que todas las revistas deberían incluir resultados negativos. ¡El sesgo de publicación hacia resultados positivos es una violación flagrante de todos los estándares de honestidad intelectual!

De hecho, creo que la publicación debería funcionar así: debe declarar su hipótesis y metodología experimental antes de hacer el experimento. Entonces deberías recibir comentarios sobre esto. A continuación, se espera que realice el experimento de la forma acordada sin variaciones: si debe realizar una variación por una razón convincente, debe obtener la aprobación de los revisores presentando sus razones para el cambio. A continuación, debe informar los resultados de la forma en que salgan, y debe informarlos. No hacerlo puede descalificarlo de otras publicaciones …

Esta sería la única forma intelectualmente honesta de tratar este problema y, en mi opinión, mejoraría drásticamente la ciencia. También debería haber un acceso más abierto a los datos en bruto para que los científicos puedan ver exactamente cómo llegó a sus resultados y si pueden reproducirlos, y los resultados finales publicados deben ser accesibles al público, para que haya un escrutinio fuera de pares directos.

Este tipo de cambios evitaría muchos conceptos erróneos, pseudociencia y malas políticas basadas en resultados que sufren sesgos institucionales y de campo.

El problema con esta idea es que alguna persona incompetente tendrá una idea estúpida y realizará un estudio de basura, quizás verificando si las personas calvas tendrán un mayor riesgo de enfermedad renal y luego no encontrarán nada. Luego, esta persona publicará este estudio en el diario de resultados negativos y obtendrá una publicación.

No solo recompensas a esta persona que desperdició fondos públicos en un estudio estúpido, TAMBIÉN le estás diciendo al resto del mundo que tienen que citar a este nincompoop cada vez que dicen que los tipos calvos no corren un mayor riesgo de enfermedad renal. Esto es irritante para cualquiera que intente obtener resultados positivos.

Si tiene una revista de este tipo, no se le debe permitir citar el artículo de manera que otorgue crédito al autor. Si el resultado negativo es sorprendente, ya se publicaría en una revista normal.

Esta es la razón por la cual el sesgo de publicación no es tan terrible: si un medicamento obtiene una reputación tan efectiva a través del sesgo de publicación, entonces la publicación que muestra que es inútil se convierte en un gran problema y se publica en una revista de renombre. Esto ha sucedido con tratamientos de renombre muchas veces.

Obtener un resultado positivo es muy difícil, y a menudo obtienes docenas o cientos de resultados negativos en el camino. Un diario de resultados negativos sería una forma de que las personas incompetentes publiquen basura y mantengan una carrera, y no creo que deba alentarse. Obligar a las personas a obtener resultados positivos para sobrevivir es cómo la ciencia progresa, y hay infinitos resultados positivos que no se han descubierto, así que no seas perezoso.

En realidad, hay varias revistas como:

Revista de resultados negativos en biomedicina
Revista de artículos en apoyo de la hipótesis nula
Revista de resultados negativos en ecología y biología evolutiva

Es más un comentario que una respuesta, pero el autor Umberto Eco (Péndulo de Foucault, El nombre de la rosa) tiene una estantería en su biblioteca dedicada por completo a “ideas que están mal”. Siempre me he preguntado por qué no hay más publicaciones que se centren en resultados negativos; gran pregunta!

Sí, sería muy útil. Sobre ese tema, ver:

• El sesgo de publicación
• Un buen resumen: Ben Goldacre: lo que los médicos no saben sobre los medicamentos que recetan | Video en TED.com (15 minutos, vale la pena):

Los científicos no quieren parecer estúpidos con hipótesis equivocadas, y no las publicarán. Necesitan tener una opción anónima.