¿Cómo se puede llegar a nuevas arquitecturas de aprendizaje profundo?

Si y no. No, porque el espacio de los algoritmos es demasiado vasto para que funcione una búsqueda puramente aleatoria (uniformemente al azar, las posibilidades de encontrar algo bueno son exponencialmente pequeñas). Sí, porque será una exploración estocástica altamente guiada, al igual que cualquier esfuerzo científico. Pero, por favor, intente averiguar qué está sucediendo, esto le dará mucho más kilometraje, por supuesto. No se trata solo de buscar en el espacio de algoritmos, también se trata de comprender conceptos más generales en el camino. Esa es la parte “guiada” de la exploración estocástica. Esto es diferente de solo tratar de superar el punto de referencia, y será más útil para otros, a la larga. Proponga teorías para explicar lo que ve, luego pruébelas configurando un experimento diseñado para * derrotar * la teoría. Iterar. El buen viejo camino de la ciencia.