¿Cuáles son las verdades sucias del trabajo de investigación, investigador, revisores y su publicación?

Trataré de hacer esto breve, como sea posible. Hay libros completos sobre el tema y muchas discusiones acaloradas en línea en otros lugares.

La primera gran realidad que creo que el mundo debería tener en cuenta es que los investigadores son tan humanos como los humanos. La ciencia se basa en la lógica y la interpretación independiente para avanzar, datos imparciales y claros recopilados por experimentos concisos, observaciones detalladas. Sin embargo, en el mundo real, el avance científico es realizado por humanos. Los científicos son tan tontos, imperfectos, sesgados, inestables, inseguros, trastornados emocionalmente, etc., como cualquier ser humano puede ser. Existe este mito sobre la “ciencia” y la “academia” que sugiere intelectos y juicio superiores. Esta es una fachada, sostenida por la propaganda. En esencia, la investigación científica académica no es muy diferente de la política: observe al político promedio y comprenderá al científico moderno promedio.

Hay un concepto importante denominado Tragedia de los Comunes . La mayoría dicta la regla local. La mayoría es técnicamente mediocre, en cualquier tema. El concepto se aplica a la investigación científica moderna tal vez más fuerte que nunca: el número de “científicos” proclamados es el mayor de la historia. Por lo tanto, la mayoría de los científicos modernos tiene poca idea sobre para qué afirman tener experiencia: la mayoría son mediocres . Cuanto más aprenda sobre su campo, más se sorprenderá al darse cuenta de que (i) poco se sabe con certeza, (ii) pocos pares realmente entienden o se preocupan por comprender los detalles, (iii) la calidad del resultado científico generalmente es muy baja Una fachada brillante de laca. El departamento académico promedio es realmente malo y vago en su trabajo. Esto lleva al siguiente problema.

La mayoría de los trabajos de investigación publicados son inútiles. Y lo más inútil es que la investigación no publicada es , además de inútil, órdenes de magnitud más voluminosas. Las estimaciones oficiales indican que> 50% (quizás> 80% según algunas fuentes serias) de observaciones empíricas publicadas no pueden ser reproducidas por pares entrenados. Solo podemos imaginar lo que llevó a un colega determinado a describir resultados que otros no pueden obtener. Pero en realidad a casi nadie le importa. Agregue a esta realidad que aproximadamente el 10% de lo que se hace en investigación científica se publica. Conclusión: casi toda la investigación científica académica es tan útil como los sueños olvidados de todas las noches, y todos están pagando para mantener este … negocio mono.

La revisión por pares significa literalmente hacer que sus pares critiquen su trabajo. Esto fue mucho más fácil, de hecho en general inevitable, en el día en que el número de especialistas vivos en cada campo era escaso y sus fondos se asignaban de forma independiente. Esta imagen ha cambiado completamente en la ciencia moderna. Hoy en día la revisión por pares es principalmente política interpersonal. Con editores poblados por editores de autómatas, la opinión de algunos pares sobre los méritos de un manuscrito es invaluable para decidir si debe publicarse en lugar de otros. Sin embargo, el tiempo disponible para hacer trabajo voluntario se está agotando en estos días, y es probable que existan consecuencias al emitir opiniones sinceras sobre el trabajo de otros. Además de la cantidad epidémica de manuscritos que se envían para su publicación, el resultado es que pocos revisores hacen un trabajo adecuado y la mayoría de los artículos “revisados ​​por pares” se publican sin pasar una inspección técnica profesional. La mayoría de los revisores de hoy tienen una agenda detrás de su tiempo invertido, que generalmente implica complacer a algunos compañeros, obstaculizar a algunos rivales, aumentar sus recuentos de citas, hacerse notar o simplemente seguir una orden. Esto último ocurre principalmente cuando el revisor es un subordinado, ya sea para algún jefe que finge ser revisor, o para conocer al autor que lo asignó como un “sello aceptado” para la publicación. El mensaje central aquí es, “revisado por pares” no es sinónimo de “publicación de sonido”.

Finalmente una palabra sobre el factor de impacto y medidas relacionadas. Alguien dijo algo como ” Cuando una medida se convierte en un objetivo, deja de ser una buena medida “. El número de citas es un número altamente manipulado que es utilizado por la mayoría de las personas para medir la “calidad” (o bien, “impacto” ) de una determinada revista / autor / publicación. Esto es similar a medir la calidad de los programas de televisión por su número de audiencia. Hay muchas fallas en esta lógica, pero una última es que los índices de citas se manipulan con bastante facilidad si hay suficientes colegas involucrados. , además de los clubes de citas de mafias “altamente productivas”, hay instituciones que presionan abiertamente a sus autores para que incluyan citas a su favor. sus compañeros de trabajo. Invito a los lectores a leer detenidamente las listas de referencias de artículos recientes al azar y comparar nombres y afiliaciones; por ejemplo, muchos artículos chinos citan> 60% de autores chinos de universidades relacionadas. cualquier editor de acceso abierto de pago con factores de alto impacto está ganando mucho dinero con la manipulación del recuento de citas, por ejemplo, acumulando publicaciones asiáticas en el formato anterior que tienden a citar sus propias revistas en masa .

Me detendré por ahora, ¡pero hay mucho más que agregar! .. Planeo volver para editarlo más tarde.

La Torre de Marfil de la Academia: un farse institucional, como es la regla en la sociedad moderna.

Hecho agregado:

La mayor parte de la investigación científica actual es realizada por estudiantes sin supervisión y sin experiencia. Quien solo quiere un título. Este es un hecho que todos deben masticar e internalizar. Hay una jerarquía dictada por la financiación y la pereza que pone todo el trabajo duro sobre los hombros de los principiantes que tienen poco sentido de la responsabilidad. La investigación de mayor calidad proviene del sudor roto de los postdocs sobrecargados / mal pagados. Los profesores reúnen la mayor parte del prestigio y los ingresos en esto, generalmente con una leve idea de lo que realmente sucedió. Esta realidad significa: (i) los datos sin procesar son generalmente de muy baja calidad, desorganizados y poco confiables; (ii) la fabricación / manipulación de datos puede ser rampante pero a nadie le importa verificar; (iii) la mayoría de los profesores tienen poca o ninguna participación en lo que se atribuyen.

Oh Dios. Hay mucho que desempacar aquí.

Primero, la facultad a menudo lleva una carga completa de enseñanza y servicio, pero se espera que permanezcan a la vanguardia de sus campos y escriban subvenciones pendientes que estarán entre el pequeño porcentaje que se financiará. Pero la financiación no depende simplemente de la calidad de la propuesta. Tiene que ver con la “sensualidad” de la ciencia, que cambia a medida que las tendencias científicas van y vienen. Hubo un tiempo en que era sexy medir los biomarcadores inflamatorios en ciencias de la salud, pero ahora es una noticia vieja y también hay que medir la utilización de los recursos, la calidad de la atención, las circunstancias sociales y la predisposición genética. A lo mínimo.

Luego está la publicación, que es el mejor sistema que tenemos para difundir los hallazgos científicos, pero es profundamente defectuoso. Los editores son empresas y ganan dinero mediante la contratación de eminentes científicos para editar sus diarios para un pequeño honorario. El contenido es proporcionado completamente gratis por científicos que deben publicar para mantener sus trabajos y obtener promociones en el sistema académico. Es posible que la ciencia controvertida o “no sexy” no se publique en absoluto, porque los editores tienen que atraer a los lectores y asegurarse de que su contenido sea válido, útil e innovador. Esto explica la falta de hallazgos no significativos (negativos) en la literatura, aunque saber lo que no funciona también es científicamente importante.

Los revisores pueden ser desagradables. Al igual que hacer comentarios en línea, el anonimato saca lo peor de algunas personas. Idealmente, los revisores deberían ayudar al autor a mejorar el documento, incluso si finalmente se rechaza, porque compartimos un interés mutuo en la calidad de la ciencia que surge de nuestras respectivas disciplinas. Pero cuando estás luchando con una gran carga de trabajo y poco apoyo de tu empleador, la cortesía desaparece rápidamente.

Luego está el hecho de que el éxito genera éxito. Los científicos con un buen historial tienen más probabilidades de obtener financiación, lo que lleva a más publicaciones, lo que lleva a una mayor influencia en el campo. Esto excluye a los prometedores científicos que trabajan 70 horas a la semana, a veces en un ambiente de trabajo hostil porque la ciencia puede ser despiadada. La innovación se ahoga en este sistema de “los ricos se hacen más ricos”.

Idealmente, los científicos superiores asesorarían a los jóvenes y los ayudarían a obtener subvenciones, publicaciones, promociones, etc., pero la academia es notoriamente hostil. Esto produce beneficios a corto plazo para los perpetradores de hostilidad, pero decrementos a largo plazo en el progreso científico, la colaboración entre disciplinas y la financiación que ayuda a sostener la institución académica.

Eso rasca la superficie.

En mi experiencia, lo que se acepta depende mucho de la suerte del sorteo para quién se le pide que revise el manuscrito. A veces, obtienes a alguien que es hostil al periódico, y lo hundirá de todos modos. A veces, obtienes un editor que quiere cortar esquinas y lo publicará a pesar de que solo obtienes un informe de revisión, o incluso no hay informes de revisión, solo la palabra del editor. Y los editores no siempre son muy receptivos. Si encuentra un problema con las sugerencias de los revisores como inapropiadas, aún no he encontrado un editor que se ponga del lado del autor. No es que esto suceda con frecuencia, pero cuando sucede, el autor pierde.

Y con respecto a las subvenciones: OH, olvídalo si la solicitud de subvención no se ve como debería. Podría ser la mejor idea en cien años en un campo, pero a menos que la aplicación se parezca a lo que los revisores esperan ver de una aplicación ganadora, serán despectivos y tal vez desagradables. Pero esto no es tan difícil de solucionar. Si sabe que sus solicitudes están siendo rechazadas, en realidad se trata de obtener más comentarios de sus colegas (o de los mismos administradores) y pedir ver algunos ejemplos de cómo se ven las aplicaciones ganadoras.

Además, creo que en algunos campos la investigación en la universidad corta las esquinas de una manera que la investigación en la industria no lo haría, especialmente cuando se trata de la seguridad de los investigadores. Algunos departamentos universitarios tienen reglas notoriamente laxas cuando se trata de materiales y eliminación. No estoy seguro de por qué tenía que haber mucho cromo hexavalente en algunos de los ejercicios de laboratorio que hice, por ejemplo, aparte de eso, produjo un resultado bastante bueno. Elegir materiales menos tóxicos podría haberse priorizado más.

Pero, considerando todo esto … Todavía es un proceso notablemente creativo para hacer investigación científica (o académica), y no lo dejaría pasar por nada. Realmente es emocionante poder contribuir al conjunto de conocimientos que la comunidad académica usa regularmente. Y hay mucha libertad para hacer lo que sea que su imaginación pueda evocar, o al menos intentarlo.