¿Cuál es la matemática detrás del procesamiento del lenguaje natural?

Esta es una pregunta tan tremendamente amplia que ni siquiera voy a intentar responderla directamente. Lo que diré es que las matemáticas en PNL dependen del enfoque que esté utilizando (que a pesar de lo que Quora puede hacerle creer que no es necesariamente un aprendizaje profundo). El aprendizaje profundo se basa en las matemáticas de la teoría del aprendizaje y aquí encontrará una variedad de conceptos de cálculo / análisis, álgebra lineal y probabilidad / estadística, junto con una serie de técnicas de análisis numérico. Por otro lado, los enfoques más clásicos en ML como los modelos lineales y el aprendizaje del núcleo utilizan un subconjunto diferente de las mismas asignaturas en matemáticas. Recomendaría leer el excelente libro de Yoav Goldberg para ver las matemáticas reales utilizadas en la práctica (con las pautas teóricas / de implementación) en PNL, específicamente con respecto a los enfoques que usan NN y ML:

Métodos de redes neuronales para el procesamiento del lenguaje natural

Como Rishi menciona, la PNL se basa en una amplia gama de matemáticas subyacentes, pero eso no tiene por qué intimidarnos. Podemos comenzar con algunas áreas centrales y ampliar nuestra comprensión a medida que profundizamos.

Este reciente curso de PNL de Stanford tiene una visión general rápida de la necesidad básica de PNL: álgebra lineal, probabilidad, etc. ( el curso supone cálculo básico de conocimiento, cómo tomar derivadas parciales, etc., pero tiene material sobre matrices, cálculo diferencial, derivados de tensor, etc. . ) necesario para comenzar CS224n: Procesamiento de lenguaje natural con aprendizaje profundo

Luego está el libro gratuito de Ian Goodfellow, Yoshua Bengio y Aaron Courville: Aprendizaje profundo que podría ser una referencia básica ( aunque el título del libro es aprendizaje profundo, tiene la mayoría de las matemáticas que necesitamos para entender los modelos exitosos actualmente que son todos modelos con múltiples capas, de modo que caiga bajo el paraguas del aprendizaje profundo de todos modos )

Si recuerdo de Fundamentos del procesamiento estadístico del lenguaje natural, muchos métodos estocásticos, teoría de la probabilidad y tal vez algo de programación lineal. Matemáticas discretas acechan en todas partes en el fondo, como lo hace en informática en general. Pero sí, es mucho más sobre estadísticas que otra cosa.

Para esto, vaya a través del siguiente enlace