¿Cuál es la mejor manera de medir los resultados académicos que no son publicaciones?

Hola Rod, todos

Excelente pregunta Mejor es una palabra interesante: ¿mejor en términos de proporcionar una cuantificación precisa del impacto científico o mejor en términos de proporcionar una métrica que sea reconocida y valorada por la comunidad?

Qué sé, pero creo que las cartas de los compañeros siempre han sido una parte importante de la evaluación del profesorado (o cartas en cualquier nivel), y en la medida en que el código, los datos y los pubs no tradicionales han influido en otros investigadores, es probable que estas cartas para reflejar estas contribuciones.

Una serie de suposiciones: (1) Es más probable que estos pares den una evaluación positiva si conocen su trabajo y reputación antes de que se les solicite una carta (el ego habla: si no he oído hablar de él / ella, puede ‘ t sea demasiado importante). (2) Es más probable que sepan de usted / sus contribuciones porque el código compartido, los datos y las redes sociales realmente llegan a un público más amplio más rápido que las publicaciones.

Considere a un científico promedio que le da poco valor a cosas como el intercambio de datos, el software de código abierto y las fuentes de publicación alternativas per se, y me aventuraría a que un colega aún lo persuadiría más diciendo: “Conozco el trabajo de esta persona, es excelente. calibre “que” nunca he oído hablar de él, pero después de todo, está publicado en la revista X ”

Supongo que cumplir con mis suposiciones es otra forma de decir que el impacto de estas otras actividades puede hablar por sí mismo, ya sea que podamos cuantificarlo o no. No es necesario decir que toda la métrica alternativa no es necesaria.

¿Cree que, en general, estos otros elementos son más sinérgicos o antagónicos al rendimiento en las métricas tradicionales?

Cameron Neylon ha estado colaborando para considerar este problema. Su publicación de blog del 29 de noviembre de 2010: Más allá del factor de impacto: Construir una comunidad para una medición más diversa de la investigación ( http://cameronneylon.net/blog/be …) proporciona un enlace ( https://docs.google.com/ documento …) a un documento de propuesta de GoogleDoc para un proyecto financiado por el Open Society Institute . Espero que se esté progresando …

Para los sitios web hay una serie de medidas que incluyen el rango de página de Google; rango del sitio alexa; el tráfico diario o la mezcla de tráfico internacional, etc. (algo de esto ya lo ha mencionado en su blog); pero estoy de acuerdo con Curt en que contar no es la única forma de medir el éxito; aunque antitético al espíritu científico, sugiero reforzar su caso con anécdotas: cómo alguien comentó en su sitio / blog cómo cambió su vida / les proporcionó información; cómo alguien está utilizando su sitio web / material de blog en un aula remota de la aldea o cómo lo expone a nuevas ideas y lo integra en una comunidad en línea de personas / investigadores de ideas afines.

Para el código, admito que es un poco complicado (yo mismo soy un programador de profesión y un científico / psicólogo solo por hobby); pero el tiempo se ha reutilizado en múltiples aplicaciones, las líneas de código, etc. pueden servir como medidas indirectas para el valor del código.

Publicar artículos en software, sitios web y bases de datos es una forma perfectamente válida de medir su impacto científico. Mi punto fuerte es que este sistema incentiva el excepcionalismo en lugar de la reutilización / refinamiento, no escala a conjuntos de datos de alto rendimiento y no refleja los métodos modernos de comunicación. En resumen, el sistema de publicación científica mide la producción científica, pero no siempre el valor científico.