¿De qué manera la ley de Bayes no es científica?

Los métodos bayesianos fueron atacados agresivamente durante el siglo XX, y en muchos campos hasta el día de hoy, porque te obligan a confrontar tus suposiciones . Y las suposiciones tienen una lamentable reputación de ser “no científicas”.

Recordemos el procedimiento básico de inferencia bayesiana: uno comienza con un previo que codifica el conocimiento actual de un sistema, y ​​luego actualiza ese conocimiento a través de una medición de datos descritos por una función de probabilidad.

Lo anterior no es menos científico que seleccionar las condiciones iniciales cuando se resuelve una ecuación diferencial [1], pero elegir un previo obliga a un científico a determinar formalmente lo que se sabe y pocos tienen experiencia en eso. ¿Qué significa, por ejemplo, no tener información sobre un sistema? Sin una definición formal de ignorancia, todos desarrollan diferentes heurísticas que pueden conducir a resultados contradictorios [2].

Por supuesto, la elección de la probabilidad también es una suposición, y puede introducir tanta “subjetividad” como la anterior. Tenga en cuenta que los métodos estadísticos clásicos usan esa misma función de probabilidad, solo que su subjetividad nunca se aborda. La sensibilidad de los resultados clásicos sobre los supuestos nunca se abordó [3] y los estadísticos enarbolaron la falsa pancarta de “inferencia científica objetiva”.

Al final, no puedes hacer inferencia sin hacer suposiciones [4]. La inferencia bayesiana abarca formalmente estos supuestos y, en consecuencia, admite técnicas poderosas como la comparación de modelos y la marginación. Los métodos clásicos, por otro lado, ignoran en su mayoría los supuestos detrás de una fachada de “objetividad científica” que sedujo al pensamiento científico durante la mayor parte del siglo XX.

Sí, la inferencia bayesiana se consideró “no científica” a la vez, pero solo porque “científica” se definió como un ideal inalcanzable.

[1] Estas “ecuaciones diferenciales” requieren condiciones iniciales para determinar una solución final? ¡Qué pasa si nuestras condiciones iniciales son diferentes! Nunca más hablemos de ellos.

[2] Este es realmente el mayor problema con los antecedentes. Si bien cada propiedad razonable de “ignorancia” que se ha introducido, desde las medidas de Haar hasta las anteriores de Jeffreys, produce las mismas medidas, esas medidas no pueden normalizarse y pueden introducir problemas numéricos en la inferencia. Esto indica que hay algo sospechoso en hacer inferencia en [math] \ mathbb {R} ^ {n} [/ math] y hay un trabajo interesante sobre medidas generalizadas que evitan estos problemas.

[3] El análisis de sensibilidad en las estadísticas clásicas no es desconocido en la actualidad, pero sigue siendo extremadamente raro.

[4] Creo que esto se atribuye a Stephen Gull.

Hay dos grandes problemas que los estadísticos tuvieron con el teorema de Bayes. La primera es que te permite creer en una teoría más después de haber visto un experimento. Compare eso con el enfoque de Popper, en el que los datos solo pueden refutar o no refutar una teoría, y verá por qué hay un problema.

La segunda es que la selección previa parece arbitraria, y en algunos casos en realidad lo es. Todavía es un tema candente en la actualidad, y no todos se sienten cómodos con algunas de las elecciones arbitrarias involucradas.

Dicho esto, fue realmente solo la comunidad estadística académica la que tuvo un problema con los métodos bayesianos. Casi todos los demás lo estaban usando y muy contentos con los resultados. Vea La teoría que no moriría: cómo la regla de Bayes descifró el Código Enigma, cazó submarinos rusos y emergió triunfante de dos siglos de controversia para obtener una historia detallada.

El teorema de Bayes no es científico ni científico, es una afirmación matemática y es cierta.

Las estadísticas bayesianas fueron atacadas principalmente porque requieren la declaración de una probabilidad previa. Hubo mucha controversia acalorada entre bayesianos y frecuentistas durante muchos años; esto se ha calmado en gran medida. Una razón para la disminución de la hostilidad es que, a menudo, los bayesianos elegirán un previo poco informativo y los resultados con un previo poco informativo son a menudo bastante similares a los de un enfoque frecuentista.

Escribí dos poemas sobre esto:

Un nombre de profesor bayesiano de Myers
Dice que la tenencia es todo lo que desea.
Pero sus sueños no se cumplirán.
Apuesto a que lo despedirán.
Cuando lo atrapan ajustando sus antecedentes.

Pero los frecuentistas tienen sus propios problemas.

Un compañero frecuente llamado Smith
Se mantuvo en silencio (suplicó el quinto)
Cuando el juez preguntó
Re suposiciones requeridas
Para calcular los valores de p con

Bueno, los matemáticos no son científicos, por lo que nuestras opiniones sobre lo que es y lo que no es científico no son realmente tan relevantes.

Dicho esto, los métodos bayesianos se refieren a cómo debes cambiar tus creencias actuales con nueva información. Por supuesto, esto significa que darán diferentes respuestas a diferentes personas en función de sus prejuicios personales. Eso es un poco inquietante si al menos nominalmente estás tratando de llegar a la verdad.

Más técnicamente, para usar los métodos bayesianos, debe elegir los anteriores, y no parece haber ninguna forma de hacerlo “científicamente”; solo los inventas.

Por supuesto, hay elecciones arbitrarias en las estadísticas frecuentistas tradicionales, en particular la elección de un límite para lo que representa la significación estadística.

Lo que convierte a un bayesiano en bayesiano no es el uso del teorema de Bayes, que es simplemente una reorganización de la regla de probabilidad condicional. Es que siempre usan el teorema de Bayes.

A muchas personas no les gusta el enfoque bayesiano de la probabilidad porque pone la subjetividad en sus rostros en forma de antecedentes. Muchos antecedentes también se pueden considerar como una estimación penalizada, que se conecta a áreas como la minería de datos de forma bastante natural. Dada la tortura infernal de datos en la que las personas que practican estadísticas ostensiblemente frecuentes se involucran (buscar “pirateo”, “grados de libertad del investigador”, “espionaje de datos”, etc.) los antecedentes bien elegidos son algo pequeño. Personalmente, no me molestan los previos siempre que sean públicos, ya que me considero un científico pragmático primero (con una pizca de Foucault posiblemente sorprendente). No creo que la objetividad pura en ningún estudio sea incluso posible, incluso en ciencias naturales.

También hay algo de resaca histórica de la era posterior a la Segunda Guerra Mundial. Históricamente, la inferencia bayesiana era problemática porque las integrales necesarias para calcular la inferencia bayesiana eran esencialmente intratables. Esto significaba que muchos estadísticos bayesianos pasaban más tiempo hablando sobre temas fundamentales y / o siendo “hombres de estadísticas enojados”. En algunos aspectos, parecía un culto desde el exterior. El famoso estudio de documentos Federalist de Mosteller y Wallace (página en cmu.edu) es uno de los mejores ejemplos de estadísticas bayesianas, pero necesitaban usar una cantidad fenomenal de tiempo en la computadora para hacer ese trabajo.

Si desea un libro realmente bueno sobre estadísticas bayesianas que esté muy conectado con la inferencia científica y tenga muchos ejemplos pragmáticos y bien motivados, eche un vistazo a:

Ronald Christensen, Wesley Johnson, Adam Branscum y Timothy E. Hanson. 2011. Ideas bayesianas y análisis de datos: una introducción para científicos y estadísticos . Boca Ratón, FL: CRC Press.

Dicho esto, muchos investigadores realmente no están preparados para comprender la construcción de modelos bayesianos, incluso si entendieran mucho más naturalmente el resultado de los modelos bayesianos, en comparación con la trampa para ratones Rube Goldberg, que es una inferencia frecuente.

No debe confundir el teorema de Bayes con las estadísticas bayesianas ; El teorema de Bayes se deriva matemáticamente de la definición de distribución condicional. No hay nada no científico al respecto.

Podría haber algo poco científico sobre las estadísticas bayesianas, pero creo que ese problema está bien resumido en otras respuestas.

Por cierto, no puedo encontrar esa declaración en la versión actual de wiki.

El libro “Probability” de ET Jaynes, publicado, creo, por la Oxford University Press, pero quizás no impreso actualmente, es una exposición magistral del Teorema de Bayes y sus aplicaciones y es muy legible, aunque extenso.