He estado trabajando en el aprendizaje profundo desde hace 1 año. Deseo implementar algunos trabajos de investigación en conferencias como ICML. ¿Puede decirme cómo debo comenzar?

* A2A *

Dado que ha estado trabajando en el aprendizaje profundo durante aproximadamente un año (¡Feliz aniversario!), Espero que se sienta cómodo con un buen marco de aprendizaje profundo. Si no, mira mi respuesta aquí

La respuesta de Gokul Krishnan a ¿Dónde puedo encontrar una introducción directa al aprendizaje profundo?

Sugiero Lasagne o Keras porque trabajo en Theano y estos muchachos han simplificado mucho la base de código de Theano y tienen un buen envoltorio alrededor de Theano.

Ahora, dependiendo del papel, puede ser entre trivial y una gran tarea de ingeniería.

Si el artículo habla de modificaciones simples como

  1. Nueva arquitectura de red
  2. Nueva combinación de hiperparámetros.
  3. Aplicación de redes bien conocidas (AlexNet, GoogLeNet .etc) en nuevos conjuntos de datos

Debería ser muy fácil de implementar. Simplemente modifique los parámetros y ya está.

Por ejemplo, el innovador documento de ResNet ([1512.03385] Aprendizaje residual profundo para el reconocimiento de imágenes) se incluye en esta categoría.

El segundo tipo de papel puede ser un poco más complicado y, en este caso, es posible que tenga que modificar el código fuente subyacente (escriba un código Theano si está trabajando en Keras o Lasagne, por ejemplo). El documento de red en una red ([1312.4400] Red en red) se incluye en esta categoría. Esta es un área gris y algunos marcos no requieren modificación, mientras que otros pueden necesitarla.

Tercer tipo, el documento habla sobre un tipo completamente nuevo de DNN que ningún marco admite todavía (no se preocupe, pronto lo harán). El sorprendente Q-Learner de Google DeepMind que jugó juegos de Atari a un nivel casi humano es un ejemplo ([1312.5602] Jugar a Atari con Deep Reinforcement Learning). En este caso, puede leer el código asociado (si el documento es de una empresa, es posible que no distribuyan libremente el código) y usarlo como punto de partida para su implementación. O implementar desde cero. En este caso, si está utilizando Python, Theano sería su mejor amigo. Simplifica gran parte del esfuerzo de ingeniería involucrado en la implementación de un DNN. Tensorflow de Google, Torch de FAIR también son buenos.

PD: Si realmente está intentando implementar un documento, ¿por qué no lo hacemos juntos? puedes enviarme un correo electrónico a [correo electrónico protegido] 🙂

Como ha estado trabajando durante un año en Deep Learning, supongo que tiene un conocimiento intermedio de los algoritmos de deep learning. Puede comenzar eligiendo los problemas de Kaggle, preferiblemente los enumerados en ‘Conocimiento’. Esto le dará una idea de los problemas del mundo real y los desafíos que enfrenta cuando intenta implementar un concepto teórico sobre problemas del mundo real.

También puede mirar este enlace https://openai.com/requests-for- … para ver algunos problemas reales. En sus propias palabras ” Estamos publicando una colección viva de problemas importantes y divertidos para ayudar a nuevas personas a ingresar al campo y para que los profesionales entusiastas perfeccionen sus habilidades. Muchos requerirán inventar nuevas ideas. Una vez resuelto, puede enviar una solicitud de extracción vinculando a su solución. Aceptaremos múltiples soluciones interesantes para cada problema.

More Interesting

¿Cuáles son los mejores proyectos de pregrado que uno puede tomar en ingeniería química para trabajos de investigación?

¿Por qué es tan difícil publicar un trabajo de investigación?

¿Me puede sugerir algunos buenos temas para el trabajo de investigación sobre bienestar o economía del comportamiento?

DISSRTTN: ¿Cómo hago las siguientes partes para una disertación que se supone que debo escribir?

¿Cuál sería un tema interesante para una tarea de neuropsicología (10-15 páginas) sobre un tema reciente y candente?

¿Cuáles son las diferentes partes de un trabajo de investigación?

¿Dónde puedo encontrar documentos relacionados con los sistemas de recomendación que utilizan información semántica?

Me encanta diseñar experimentos, trabajos de investigación y ciencias. No tengo las calificaciones, pero aún encuentro formas de hacerlo. ¿Estoy perdiendo el tiempo?

¿Cuál es la mejor manera de administrar la lectura de nuevos artículos de investigación? Al menos cada dos semanas recibo nuevos artículos relacionados con mi investigación, pero como no puedo leerlos de inmediato, siguen aumentando en número. ¿Cuál es la mejor estrategia para gestionarlos?

Cómo escribir un resumen del trabajo de investigación adjunto

¿Cómo la lectura de trabajos de investigación ayuda a crear su tesis?

¿Por qué escribirías un libro académico sobre uno o varios trabajos académicos o viceversa?

¿Qué hace que un trabajo de investigación sea ejemplar?

Necesito ayuda para encontrar un buen tema para mi trabajo de sociología. ¿Hay algún tema que sea un gran artículo?

¿Cuáles son las características de un buen trabajo de investigación?