Hay mucho trabajo sobre esta cuestión en la comunidad bibliométrica. El recuento de citas depende del repositorio. ISI SCI era el “estándar de oro”, pero recientemente cambió sus criterios para que sean potencialmente menos útiles para la mayoría de las determinaciones rápidas. h variará según el repositorio que se use, fácilmente 2x. Por supuesto, cualquier métrica individual es potencialmente engañosa, pero el índice h podría ser mejor que contar documentos, o peor, contar cantidades de dólares de financiamiento externo. Obviamente, los jóvenes académicos deben ser evaluados de manera diferente, así como los académicos muy viejos, dependiendo de cuánto se preocupe la gente por las contribuciones más antiguas versus las más recientes. La gente sobreestima el impacto de la autocitación y el conteo de pdf en scholar.google. Si realmente quieren obtener mejores recuentos, deben buscar citas que no sean de camarilla, recuentos de citas de artículos citados, eliminación de libros de texto citados gratuitamente, normalización por extensión de la bibliografía, lugares de citas de calidad, etc. La gente a menudo dice que deberíamos normalizar por autor también cuentan, pero nuestro estudio muestra que, al menos en la parte superior, no es necesaria una normalización muy costosa y variada. En cualquier caso, no solo miraría el total, el mejor, el h y el g, sino que desearía conocer al mejor como primer autor y al mejor solo, posiblemente el i10, i100 y el a-normalizado-10 ° mejor. Y cuáles son los recuentos totales de citas en los últimos tres años. No aceptaría una métrica, pero me sentiría seguro si uno citara uno de los primeros cuatro y varios de los últimos cuatro. Para los jóvenes académicos, miraría la forma de la tendencia por año del total de citas, incluso la tendencia por año de los principales trabajos hasta ahora.
El índice g es menos discutido pero generalmente es un índice mejor. Curiosamente, nuestro estudio de recientes ganadores del Premio Nobel en Econ, Física y Química, y ganadores del Premio Turing muestra que h es menos variable que g entre personas muy importantes de CS, aunque h parece ser más adecuado para los científicos: resultados preliminares, por lo que las conclusiones podrían estar calificado Del mismo modo, la normalización del autor produce más variación, no menos. Se puede argumentar si la variabilidad de un índice entre las personas más importantes es una buena manera de juzgar el valor del índice, pero se dirige directamente a la cuestión de la inferencia y la confianza de la inferencia.
También proponemos una transformación de registro antes de hacer otro análisis, o al menos sqrt. Por lo tanto, proponemos sqg, la k más alta, de modo que la suma de las primeras krt (citas) de k papers es mayor que k-cuadrado. Esta es solo la g después de aplicar una transformación de aplanamiento para reducir los malos efectos de la curva Zipf que vemos con los recuentos de citas. Alguien podría hacer una buena retroalimentación y un documento del proceso de llegada para explicar el Zipf, estoy seguro.
Resulta que hay incluso mejores medidas rápidas de impacto que h y g, pero las personas tendrán que publicar nuestro artículo si quieren saber qué pensamos al respecto.
Es importante darse cuenta de que el recuento de citas no es suficiente ni necesario para reclamar el impacto. Pero ciertamente están altamente correlacionados.
Cuando comencé a obsesionarme con el recuento de citas a principios y mediados de los 90, SCI todavía estaba en CD ROM. Ahora es mucho mejor aunque scholar.google no permita consultas automáticas. Nuestro decano, CI Byrnes, solía decir “Juega tenis; deja de llevar puntaje”, a lo que yo respondía “A veces no puedes estar seguro de que el anotador mantiene el puntaje correcto”. La ironía es que no había pensado en los recuentos de citas como una medida de impacto académico hasta que el bibliotecario me llamó por un caso de tenencia diciendo que Dean Byrnes había pedido el recuento. El CD ROM fue doloroso, y en realidad fue más rápido cuando las citas se imprimieron en grandes volúmenes y en letra pequeña. Sí, en realidad miramos citas impresas alguna vez, para encontrar trabajo relacionado, no solo para fascinarnos con la carrera de caballos.
