¿En qué se diferencia la investigación del aprendizaje automático en la industria que en la academia?

Señalaría dos diferencias principales:

Primero, la investigación académica tiene mayor énfasis en la novedad, mientras que la investigación de la industria enfatiza la utilidad. En el aprendizaje automático, esto a menudo se combina con la academia que trabaja en la creación rápida de prototipos para conjuntos de datos más pequeños, mientras que la investigación de la industria invierte más en hacer que las cosas realmente funcionen. Esto también está relacionado con la alta tasa de rotación de estudiantes de doctorado: generalmente se van poco después de adquirir experiencia, reemplazados por estudiantes nuevos.

Una segunda diferencia principal es la contribución individual versus el trabajo en equipo. La estructura de financiación (y en cierta medida la estructura de crédito) en la academia a menudo no fomenta la colaboración entre múltiples investigadores a nivel de facultad (con la excepción de proyectos de grandes ciencias, por ejemplo, en biología). Mi experiencia en esto se limita a Google, donde las personas están muy abiertas a colaboraciones. Esto permite integrar la experiencia de más personas y construir sistemas más sofisticados.

Estas dos diferencias se ilustran con lo que se considera una contribución impactante. El típico trabajo académico de ML es un trabajo de ~ 8 páginas con un puñado de autores. Un producto típico basado en ML podría implicar un esfuerzo y una escala mucho mayores.

Mucho depende del país en el que se encuentre. En los EE. UU., Si obtiene un buen trabajo de facultad en aprendizaje automático en un departamento de CS, generalmente es> $ 100k por nueve meses de salario, pero no por mucho. El salario de verano puede aumentarlo un poco.

Parece que hay lugares en la industria con grupos de investigación de estilo académico que pagan un poco más que ese todo incluido, en algún lugar entre $ 120–200k. Estas pueden ser compañías de computadoras que no son compañías de software, compañías de automóviles y compañías de electrónica. Luego, hay una serie de lugares que pagarán> = $ 250k por puestos de investigador científico: “ creo ” que Google research / brain, FAIR, NVIDIA, Baidu y algunos otros son así.

Si la investigación significa ciencia pero no publicación, entonces los fondos de cobertura probablemente deberían incluirse y con frecuencia pagan> $ 300k.

Tenga en cuenta que estos son todos para investigadores de nivel junior. Las trayectorias después de eso variarán mucho.

Creo que no es tan importante cuál es su dominio de nivel superior: he tenido .edu, .com y .gov, y he aprendido mucho en los tres.

Sugiero trabajar donde tenga un buen conjunto de colegas y problemas interesantes para trabajar. Eso podría ser industria, academia, gobierno, sin fines de lucro o voluntariado de código abierto. En algunas áreas, la industria tiende a tener más recursos (personas, cómputo y datos), pero hoy en día hay mucho que puede hacer con los datos disponibles, un pequeño equipo y una computadora portátil, o tal vez un pequeño grupo de GPU de bajo costo, o alquiló o donó tiempo en un servicio de computación en la nube.

Mi experiencia personal es que, en general, la investigación de aprendizaje automático en la academia se enfoca en encontrar problemas y algoritmos sensuales que pueden publicarse y citarse, mientras que la investigación de aprendizaje automático en la industria se enfoca en encontrar soluciones concretas que puedan ser útiles para los clientes o la empresa. en un futuro decentemente cercano.

Ejemplo:

Afortunadamente, hay algunas excepciones refrescantes, por ejemplo, Oren que estaba haciendo una sesión por aquí recientemente.

No mucho de lo que aprendo. La experiencia es el diferenciador clave. A partir de ahora necesitamos más investigadores de ML que programadores. Pero la industria solo paga entre 1.2 y 1.5 veces más por ML que un programador superior con el mismo nivel de experiencia. Y la demanda de ML todavía es inferior a la de los programadores. Esto me dice que ML market aún no ha madurado.