¿Cómo se puede aplicar la minería de textos a la literatura científica?

Gracias por el A2A. Creo que la información que permite a los investigadores hacer lo siguiente sería útil:

1) reducir la cantidad de tiempo para “mantenerse al día” con el volumen de información que se genera dentro de su comunidad.
2) da sugerencias a las áreas donde su investigación puede aplicarse o extenderse.
3) proporciona información sobre diferentes técnicas utilizadas para resolver problemas similares.

Por lo tanto, algunos ejemplos podrían ser la búsqueda, el resumen en papel (resúmenes), los documentos de modelado de temas, las recomendaciones en papel, la creación de redes “sociales” de investigadores, etc.

Como otros han mencionado, hay muchas cosas que puede hacer con la cantidad de técnicas de minería de texto disponibles. Particularmente, con recursos como dblp y PubMed que facilitan el raspado de documentos y sus metadatos, solo está limitado por su propia capacidad para hacer preguntas interesantes.

Los sistemas de recomendación han sido, y son, un tema realmente candente en informática que emplea ampliamente la minería de texto y las técnicas asociadas. Para darle un ejemplo: para un proyecto de semestre esta primavera, junto con un par de personas más, trabajamos en la construcción de un sistema de recomendación de colaboradores y papel. Utilizamos el conjunto de datos proporcionado para KDD Cup 2003 disponible aquí y creamos un sistema que recomendaría documentos para leer y posibles colaboradores en función de su descripción de los intereses de investigación.

La cantidad de datos disponibles hoy en día (aunque desafortunadamente la mayoría de los documentos todavía están detrás de los muros de pago) es lo suficientemente grande como para hacer uso de la minería de texto para hacer una investigación significativa y construir sistemas realmente interesantes y útiles.

Este es un gran esfuerzo. Le sugiero que ofrezca su experiencia a estos tipos:
ContentMine
Ya están extrayendo textos de literatura científica y les está yendo bastante bien. Pensé que ciertamente podrían usar la ayuda. Además, todo su trabajo es de código abierto, por lo que es fácil contribuir y aprender.

Cualquier cosa que pueda hacer con el texto habitual se puede aplicar a la literatura científica: análisis de conglomerados, categorización, aprendizaje jerárquico, descubrimiento de tendencias … Y luego también puede hacer cosas adicionales: utilizar la información presente en documentos científicos y ausente en los textos habituales. Por ejemplo, puede hacer uso de fórmulas e intentar hacer algo interesante con ellas.

Para los datos, intentaría usar los datos de arXiv y los de wikipedia (solo artículos científicos)