¿Cuáles son algunos de los usos del raspado web en la investigación científica?

Utiliza algunos raspadores web para recopilar datos en masa para su investigación. Perdería mucho tiempo y esfuerzo si solo copia y pega cada información. La técnica de raspado web imita cada paso como abrir la página web, localizar datos y recopilarlos.

El raspador web como Octoparse es muy fácil de usar. Puede descargar el software y usarlo de forma gratuita, por supuesto, debe pagar algunas funciones avanzadas si lo desea. Pero como usuario principal sin ningún conocimiento de programación, la versión básica es completamente suficiente. Hasta aquí todo bien. Los inconvenientes pueden ser la inexistencia de foros de desarrolladores. Pero hasta ahora todo bien. La atención al cliente es muy buena y resuelve los problemas de inmediato.

Import.io | Web Data Platform & Free Web Scraping Tool también es muy fácil de usar. Pero tan pronto como surjan las preguntas, estará totalmente solo. El equipo de importación lo navega directamente y lo apoya en el foro sin ayudarlo, lo cual es una mierda.

No estoy seguro de si esto se clasifica como investigación científica, pero fue una investigación académica.

Un amigo mío tuvo el siguiente tema de investigación

“Información idiosincrásica y tasa de retorno esperada. El documento que me ha ayudado a calcular el índice de cantidad, teóricamente se deriva de la investigación de la microestructura del mercado y se relaciona con el trabajo que prueba la veracidad empírica de los modelos de tasa de rendimiento esperados basados ​​en la información “.

La pregunta de investigación general del documento es en qué medida la cantidad, precisión y asimetría de información de una empresa (es decir, la calidad general de la información de una empresa) afecta su costo de capital

Lo ayudé a construir un raspador web y pudo terminar su investigación para su PHD

Investigación académica Web Scraping – Entropy Web Scraping

Aquí hay un gran artículo de Stacey Higginbotham de GigaOM que habla sobre el raspado web y hace referencia a varios usos legítimos académicos y comerciales para el raspado web.
http://gigaom.com/cloud/as-unstr

Trabajo en kimono: convierta los sitios web en API estructuradas desde su navegador en segundos, y hemos visto algunos usos fascinantes, desde raspar sitios de servicios de escolta de backwoods para investigación en ciencias sociales hasta medir precios de bitcoin en relación con moneda fiduciaria y productos comerciales.

¡Búsquenos!

Lo hermoso de la web es que hay tantos datos en línea que las posibilidades son infinitas.

Oxfam utiliza https://import.io para recopilar datos para predecir la hambruna en países del tercer mundo, un miembro de nuestra comunidad de Facebook utiliza datos raspados para ayudar a mejorar sus cursos de mejores prácticas médicas, y Kaggle realiza concursos regularmente que incorporan un uso científico de la web. datos.

Un caso de uso interesante sería el estudio de la variación de la renta de viviendas en varias ciudades de Estados Unidos. Otro caso sería la predicción de datos de stock y la investigación. Esto se hace con los datos recopilados a través del raspado web.

Un informe reciente afirma que Bots dio la primera advertencia contra el brote de Ébola.

Siéntase libre de dejar un mensaje para cualquier ayuda.