¿Cuál es el trabajo de investigación sobre aprendizaje automático más emocionante que leyó en 2016?

Dado que el Documento de aprendizaje residual profundo que se ha citado varias veces técnicamente no es 2016, quiero incluir a otro contendiente que aún no se ha probado, pero creo que es muy prometedor: [1603.09382] Redes profundas con profundidad estocástica

La idea detrás de esto es simple y genial y una expansión natural del paradigma de aprendizaje residual (que tiene las capas de derivación de señal) y abandono (desactivación aleatoria [‘abandono’] de nodos durante el entrenamiento): “Comenzamos con redes muy profundas pero durante el entrenamiento , para cada mini-lote, suelte aleatoriamente un subconjunto de capas y omítalas con la función de identidad “(del resumen).

Los autores informan una disminución significativa en el tiempo de entrenamiento (ya que las redes menos profundas que se producen al soltar un subconjunto de capas son más rápidas de entrenar), así como un aumento ‘significativo’ en el rendimiento. ¡Ambas cosas son increíbles!

Como otros han señalado (Las redes de profundidad estocástica aceleran el entrenamiento de redes profundas), es probable que este método sea una herramienta estándar para redes neuronales profundas en el futuro, tal como, por ejemplo, la deserción. Definitivamente estoy emocionado de ver tanto nuevas aplicaciones como explicaciones teóricas de por qué esto funciona tan bien.

Ampliaré un poco la línea de tiempo e incluiré también diciembre de 2015. Disfruté mucho el trabajo: ([1512.03385] Aprendizaje residual profundo para el reconocimiento de imágenes que salió en diciembre de 2015. El aprendizaje profundo ha estado impulsando importantes avances en el logro del rendimiento más avanzado en una serie de tareas de aprendizaje automático como el reconocimiento de imágenes, el habla, análisis de texto, etc. Uno de los desafíos en el entrenamiento de redes neuronales profundas es que los gradientes se desvanecen en las capas más profundas de las redes, limitando la red a unos pocos (10 a 20 capas). Este artículo introdujo el concepto de aprendizaje residual profundo que permite el entrenamiento redes mucho más profundas (100 o incluso 1000 capas), que están impulsando el rendimiento de estas redes en tareas de reconocimiento de imágenes a precisiones de nivel casi humano y más allá. Me encantó este documento por la simple idea, el camino que abre para entrenar redes mucho más profundas que antes, y para los resultados de precisión a nivel humano logrados en los conjuntos de datos de referencia.

Al producir una respuesta, postularé previamente los anteriores i y ii:

yo. Aprendizaje causal ~ Los paradigmas que comienzan a acercarse a la construcción del mundo pequeño auto-similar del cerebro generan bastante intriga. (Quizás como funciones de composición profunda y compresión)

El papel abunda en la discusión ‘causal’:

[1604.00289] Construyendo máquinas que aprenden y piensan como las personas

Abundan los trabajos de aprendizaje causal-física:

Facebook AI Research – Cronología

ii) Aprendizaje general ~ Tejido general, que comienza a aproximarse a la ‘absorción’ / aprendizaje general:

Abundan los papeles de atari q aprenden:

https://www.cs.toronto.edu/~vmni …

(Existen posteriores documentos de aprendizaje profundo q)

▼

▼

Un artículo mío, que ingenuamente combina el aprendizaje general y causal:

https://www.researchgate.net/pub …

[1512.03385] Aprendizaje residual profundo para el reconocimiento de imágenes

Es una idea muy simple con resultados sorprendentemente buenos. La idea es aprender las características delta de la capa anterior y esto de alguna manera simplifica el problema. Me imagino que todas las nuevas arquitecturas adoptarán conexiones de omisión de una forma u otra.

Un bloque residual también puede verse como un RNN sin el mecanismo de entrada de entrada. Sorprendentemente, agregar una compuerta adaptativa no ayuda ( http://arxiv.org/pdf/1603.05027v …). De cualquier manera, es interesante ya que los RNN están avanzando lentamente hacia arquitecturas de redes neuronales estándar.

Hay diferentes lugares para mirar
http: //academic.research.microso …

Y
http://www.ericsson.com/industry …

Y http://research.google.com/pubs/ …

En particular me gustan dos papeles:

1- “Algunas cosas que debes saber sobre el aprendizaje automático” y

2- “Introducción a la teoría del aprendizaje estadístico”