¿Qué tan factible sería crear una aplicación web / enciclopedia en línea para hacer meta-estudios (y permitir que las personas los visualicen)?

Esto podría dividirse en varias partes.

El primer paso es hacer un análisis reproducible, donde no hay intervención manual o secuencias de comandos y el análisis está completamente automatizado desde el conjunto de datos original extraído a mano a una tabla final de estadísticas resumidas y valores p, intercalados con comentarios: esto es solo alfabetización programación y es un problema resuelto, por ejemplo, notebooks iPython o R Markdown. Pueden ser bastante agradables y hacer excelentes estadísticas en publicaciones de blog o ensayos, pero este es su propósito original. No muchas personas los usan porque es otra herramienta más para aprender y tener que depurar y apoyar. (Por ejemplo, mi propio trabajo no es así porque no quiero descubrir cómo integrar R Markdown con Pandoc / Hakyll).

El segundo paso sería contribuirlos a algún tipo de sitio web o repositorio para que puedan expandirse con análisis adicionales o nuevos datos.

Hasta ahora, todo esto es muy genérico. No hay razón para que ningún documento que utilice estadísticas u otro análisis de datos no pueda hacer todo esto, y debería hacerlo. (Pero no lo hacen). Esto sugiere que las herramientas son demasiado difíciles de usar o demasiado nuevas o con un propósito especial (el metanálisis no es tanto un subcampo discreto específico de estadísticas como cada subcampo de estadísticas, ya que se aplican a la fusión datos de estudios: los efectos fijos deben manejar todo lo que pueda hacer con un modelo lineal generalizado, los efectos aleatorios pueden verse como un modelo multinivel que es tan común en el trabajo bayesiano, las pruebas de embudo son una regresión del error estándar en el tamaño del efecto, publicación y otras comprobaciones / correcciones de sesgo pueden ser arbitrariamente complejas en función de cómo cree exactamente que funciona el proceso subyacente, incorporar covariables es lo mismo en el metanálisis que en los estudios individuales y es posible que desee hacer cosas como transformaciones cuadráticas y por la misma razón, por lo que proporcionar herramientas para admitir todo tipo de metanálisis será más difícil de lo que parece; has asumido la tarea de admitir la mayoría de las herramientas estadísticas). Y hay problemas de incentivos. (Siempre hay problemas de incentivos. Vea mi comentario sobre “¿No podemos agrupar todos los estudios de GWAS en una base de datos gigante para detectar nuevas asociaciones y quizás fortalecer / debilitar a otros?” Http://www.quora.com/Cant-we-pool -todos-GWAS-estudios-en-uno-gigante-base de datos-para-detectar-nuevas-asociaciones-y-tal vez-fortalecer-debilitar-otros / responder / Justin-Ma / comentario / 11826660? srid = wb5 & share = 1)

Hasta cierto punto, esto ya está hecho. Cochrane tiene cada revisión trabajando a través de Revman para ayudar a estructurarlo. Pero no sé cómo vas mucho más allá de esto.

No necesariamente quiere que las personas contribuyan con datos de manera involuntaria porque entonces puede terminar con resultados cada vez más sesgados, ya que las personas solo contribuyen con los resultados positivos / negativos que desean, lo que frustra el objetivo original de sintetizar todos los estudios mediante consultas de búsqueda específicas.

Supongo que podría intentar que sea un proceso continuo: defina una consulta de búsqueda en Pubmed, analice el RSS, exponga nuevos éxitos a editores voluntarios que luego ‘resuelven’ cada nuevo hit como irrelevante o relevante (piense en un rastreador de errores) y luego agregue al cuaderno existente y luego se vuelven a hacer todos los cálculos y se revelan nuevos resultados. Por lo tanto, combina un wiki de cuadernos estadísticos con un módulo especializado para manejar sistemáticamente nuevas incorporaciones. En teoría, esto podría arrojar resultados metaanalíticos constantemente actualizados, suponiendo que tuviera la mano de obra para evaluar cada golpe de estudio y extraer los datos clave. (Hay proyectos de IA para leer la literatura científica, pero no creo que puedan extraer de manera confiable el tipo de estudio o los números exactos, según sea necesario). Pero problemas de incentivos … ¿quién recibe crédito? ¿Cómo publicas artículos sobre este sistema o lo financias?

Cochrane no está contento con la forma en que sus revisiones y metanálisis siempre están desactualizados, a veces por muchos años, por lo que podrían estar interesados ​​en dicho sistema.

Muy buena idea. Golpeé un bulto cuando leí “input”. No estoy seguro de que el universo de personas apasionadas por mejorar el metanálisis sea lo suficientemente grande como para hacer el trabajo que está describiendo. El desafío de hacerlo algorítmicamente es que la armonización de datos es realmente difícil incluso para los humanos. Los mismos nombres de variables se usan con diferentes significados, diferentes presuposiciones, diferentes métricas.