Creo que es bastante obvio que mucho trabajo en, por ejemplo, el aprendizaje profundo no supervisado tiene sus raíces en la mecánica estadística clásica, no equlibirium.
Por ejemplo, leer la presentación reciente de Google Deep Mind sobre Inferencia Variacional es como tener 19 o 20 años nuevamente.
http://www.shakirm.com/slides/De…
- La esfera gris representa un material dieléctrico. ¿Qué figura a continuación es correcta?
- ¿Cómo puede la multiplicación del vector por una cantidad escalar que no tiene sentido de dirección cambiar la dirección del vector?
- Cómo describir la inercia como una propiedad de la materia.
- ¿Cuál es el significado de los campos vector / tensor Killing?
- ¿Cuál es la divergencia de un campo vectorial?
Muestreo de importancia. Expansiones acumuladas. Teoría de la perturbación. Todo lo que verías en un curso avanzado de mecánica estadística.
Dicho esto, la mayoría de los cursos sobre stat mech no cubren aplicaciones en aprendizaje automático o aprendizaje profundo, y serán impenetrables sin los antecedentes de física / física química.
Y a pesar de que mi asesor es un experto mundial en este mech estadístico no ecualizador, no sabe nada sobre ML o DL. Y mi asesor postdoc, que escribió el libro (s) en Hopfield como redes neuronales, falleció hace un par de años.
Además, los investigadores de estadísticas, aprendizaje automático y aprendizaje profundo tienen su propia notación, métodos y resultados clave.
Por lo tanto, es muy difícil resolver lo que está sucediendo sin leer la literatura original, incluido lo que está sucediendo hoy, retroceder 20 años y luego tratar de resolverlo sin perderse en los miles de artículos publicados en ese momento. gafas, redes neuronales, etc.
Además, creo que la mayoría de la gente entiende mal o explica mal lo que está haciendo Deep Learning. Deep Nets parece estar encontrando una ecuación determinista de punto fijo para lo que la mayoría de los estadísticos hacen mediante el muestreo. Creo que esto sorprendería a muchos estadísticos, pero hay muchos métodos deterministas y de punto fijo en física. Y es posible, en teoría, aproximar la energía libre de esta manera (es decir, la teoría TAP). Incluso si la teoría TAP no es tan buena, al menos vemos que es posible, y lleva a creer en la idea de que el aprendizaje profundo no es completamente banano.
Pero si no me crees, pregúntale a LeCun …
“Todo esto vino de la física estadística, no de las estadísticas bayesianas”
Yann LeCun
