¿Cuáles son algunas áreas interesantes de investigación en la intersección de PNL y ML / DL?

Puede consultar la lista de documentos aceptados de ACL / EMNLP / NAACL de 2013-2015 para conocer los temas de investigación más populares sobre NLP / DL en la actualidad.

Para mí, los siguientes problemas específicos merecen una atención considerable:

1. Incorporar el aprendizaje de la representación de palabras con léxicos semánticos. (p. ej., mejor documento de NAACL-2015: página en aclweb.org)

2. Modelado de tensor y aplicaciones para PNL. Las aplicaciones incluyen composición semántica, aprendizaje relacional, predicción de estructura, etc. (por ejemplo, el mejor artículo de ACL-2014: página en aclweb.org)

3. Aprendizaje profundo para la predicción de estructuras. A diferencia de Vision / Speech, las tareas centrales en PNL son principalmente tareas de predicción de estructura, por ejemplo, etiquetado de secuencia (etiquetado POS, NER), predicción de estructura de árbol (análisis), aprendizaje de secuencia a secuencia (traducción automática). Con el rápido desarrollo de la red neuronal recurrente / recursiva, el próximo avance podría hacerse en esta área.

4. Aprendizaje multilingüe. Inspirados en las representaciones distribuidas de palabras, frases e incluso unidades lingüísticas más grandes, estamos dando un paso significativo hacia el mundo de la semántica. La brecha entre los diferentes idiomas se puede cerrar de manera efectiva.

Bueno, en primer lugar, hoy en día no se habla de la intersección de NLP y ML, porque esencialmente toda la PNL depende en gran medida de algoritmos de aprendizaje estadístico.

Dicho esto, estoy de acuerdo en que algunos de los temas más populares están relacionados con representaciones distribuidas de palabras / oraciones / párrafos. Como lo mencionaron otros, la predicción de estructura mediante el aprendizaje profundo es definitivamente candente.

La adaptación del dominio, el aprendizaje activo y el aprendizaje semi-supervisado también son tendencias.

También parece haber bastante investigación sobre PNL para lenguajes de bajos recursos. Esto está parcialmente relacionado con el aprendizaje semi-supervisado mencionado anteriormente. Por ejemplo, ¿cómo puede construir y entrenar rápidamente un etiquetador POS para un nuevo idioma?

Otro tema interesante y popular es el análisis medial social.

Además, bases de conocimiento, extracción de información, inferencia.

Una lista aleatoria de cosas que creo que podría y debería llamar más la atención:

1. Análisis de AMR (Representación de significado abstracto (AMR))
2. Aprendizaje humano en el ciclo (por ejemplo, modelado de temas, etiquetado, incrustaciones de aprendizaje)
3. Representación del discurso
4. Generacion
5. Respuesta a preguntas no factoides
6. Argumentación / persuasión
7. Ciencias sociales computacionales (2016 se acerca)
8. Aprendizaje espectral para modelos variables latentes
9. Algoritmos holísticos robustos a ruidosos ASR (ahora que ASR es mucho mejor)

Ir más allá de word2vec, hacia representaciones distribuidas de oraciones y documentos. Básicamente, modelado de temas con DL

1. Un modelo de conversación neuronal (2015)