¿Cómo pueden los estudiantes o investigadores independientes competir con la investigación acelerada en DL en compañías como Google, Facebook u OpenAI?

Google tiene un ‘enfoque híbrido para la investigación’: la investigación está orientada al producto y se produce mediante cambios incrementales en las soluciones existentes. Google todavía puede tener objetivos de investigación a largo plazo, pero estos objetivos tan grandes deben ‘factorizarse’ en una secuencia de objetivos a corto plazo, cada uno de los cuales debe afectar los productos de Google.

Esta cultura de investigación no es atractiva para algunos talentos. Por ejemplo, muchos académicos de inteligencia artificial como Yoshua Bengio o Jürgen Schmidhuber no quieren unirse a un gigante tecnológico: prefieren mantener su agenda de investigación independiente, sin presión para impactar los productos de la compañía.

Además, esta política científica de Google es vulnerable a los cambios de paradigma. Gran parte del progreso tecnológico importante proviene de temas periféricos, que antes tenían poco impacto, y que de repente pasan al escenario central.

Un ejemplo de ello es el ascenso meteórico de la IA y las redes neuronales. En un par de años, esta curiosidad académica se convirtió en la columna vertebral de una nueva revolución industrial. Los tecnólogos convencionales no vieron venir la IA, y el fundador de Google, Sergey Brin, no fue diferente.

Google conoce los límites de su enfoque a corto plazo para la investigación. Es por eso que establecen divisiones separadas para proyectos a largo plazo. En IA, su principal es DeepMind, con sede en Londres. Sin embargo, el problema con esta política es que las ideas no circulan lo suficientemente bien entre DeepMind y el resto de Google. DeepMind permanece bastante aislado de la nave nodriza de Google. ¿Cuántos Googlers siguen realmente la investigación de DeepMind? Supongo que no mucho, y eso sería interesante para encuestar a los Googlers al respecto.

Para remediar esta falta de transferencia de conocimiento dentro de Google, DeepMind abrió un equipo dedicado en Google HQ en California, y el futuro dirá si es efectivo.

Los investigadores independientes pueden combinar mejor la investigación fundamental y la aplicada

Los estudiantes independientes más audaces pueden encontrar inspiración en esta situación. Pueden dedicar parte de sus recursos a la investigación fundamental. Cuando la investigación fundamental y aplicada es realizada por las mismas personas, con especializaciones duales, el ancho de banda entre los dos aumenta, lo que ayuda a provocar avances improbables pero de alto impacto. Esto lleva el ‘enfoque híbrido de la investigación’ de Google un paso más allá: los investigadores independientes no tienen presión para impactar los productos de la compañía.

Para ascender en la escala corporativa de una gran organización como Google, es una mala estrategia realizar investigaciones fuera de lo común. Por otro lado, para los investigadores independientes, no hay una escalera para subir y mucho menos incentivos para el conformismo.

Finalmente, como OpenAI, los investigadores independientes pueden proponer sus propias ‘Solicitudes de investigación’. Incluso pueden usar Startcrowd, una plataforma dedicada para investigadores independientes en IA.

Pueden competir haciendo su propio pensamiento creativo independiente en lugar de ser seguidores de las últimas tendencias y publicaciones.

La pregunta implica que los investigadores de organizaciones grandes y bien financiadas son de alguna manera superiores debido a todo el dinero y los recursos que tienen sus organizaciones, haciendo “investigación de Aprendizaje Profundo”, lo que sea que eso signifique.

La realidad es casi completamente opuesta: en las grandes empresas hay una enorme cantidad de obstáculos institucionales en forma de jerarquías corporativas, guerras territoriales, competencia interna y otras cosas no tan buenas.

A pesar de las proclamaciones de que las mejores cosas se están haciendo internamente en estos laboratorios, las grandes empresas conocen mejor y constantemente adquieren pequeñas startups para infusiones de pensamiento fresco e innovación. ¿Por qué seguirían haciendo eso cuando tienen toda esa inteligencia, dinero y recursos internos?

No te dejes atrapar por el bombo publicitario de dinero que es todo lo que hay que hacer y que los jugadores de bolsillo puedan hacer y resolver todo. Al hacerlo, solo te eliminarás de la gran carrera de la innovación y la creatividad. En cambio, ignore todo ese ruido y busque nuevas ideas que no están dispuestas y que no pueden hacer. Todos los jugadores inteligentes adquiridos por las grandes empresas lo saben muy bien, siguen sus pasos.

Todo esto no quiere decir que los grandes laboratorios de investigación no estén haciendo cosas buenas, ciertamente lo están haciendo, pero están bloqueados y encadenados por todo tipo de problemas y limitaciones que los jugadores más pequeños no están haciendo.

¡Sal y aprovecha eso!

En una startup de 40 personas, me hago esa pregunta mucho. En lang.ai, tenemos un pequeño equipo de desarrollo / investigación en comparación con esos gigantes. Mi respuesta a esa pregunta suele ser el foco .

  • Concéntrese en comprender los dolores del mercado teniendo tantas conversaciones con los clientes como pueda
  • Centrarse en desarrollar esa tecnología e investigar en esas áreas
  • Concéntrese en construir la propuesta de valor de su tecnología / producto que ha creado que se conecta con los dolores de mercado identificados anteriormente
  • Centrarse en vender esa tecnología a esos clientes
  • ¡Escala y repite el proceso antes de que te atrapen!

Tiendo a pensar que nuestra “ventaja” en esta competencia suele ser que podemos centrarnos más que ellos. Todavía hay muchos problemas de aprendizaje automático por resolver, nos estamos centrando en uno. Además, hay menos barreras de administración y una comunicación más fácil (tanto externa como interna) en una startup que ayuda.

En Google Brain, pensamos mucho en cómo elegir nuestros proyectos para asegurarnos de que valen la pena dado el resto del trabajo que otras personas en el mundo harán. Esto también fue una gran parte de la estrategia durante mi tiempo en OpenAI.

La enorme cantidad de interés mundial en IA significa que la investigación de IA se ha transformado de la optimización a la teoría de juegos. Los investigadores solían poder elegir su tema basándose en lo que pensaban que sería un buen tema. Ahora, es importante anticipar lo que harán otros investigadores y elegir un tema en el que pueda proporcionar una ventaja única.