¿Cómo registran los académicos el resultado de su experimento en experimentos de aprendizaje automático, especialmente cuando hay demasiados parámetros? ¿Hay una guía?

Bueno, no estoy seguro si hay una guía. “Los elementos del aprendizaje estadístico”, de Hastie et al., Ofrecen muchos ejemplos prácticos y podría examinarlos para ver cómo caracteriza los beneficios de los diferentes algoritmos.

Para los tipos de problemas de clasificación o identificación, los resultados generalmente se muestran en términos de tasas de error. Hay una gran cantidad de métricas relacionadas con errores, incluidas algunas teóricas de información que generalmente están indirectamente relacionadas con una tasa de error. Para problemas de detección, es común mostrar la curva ROC y tal vez dar la misma tasa de error o algún otro punto en la curva.

Para cualquiera de los tipos de tareas anteriores, es fundamental que los investigadores que intentan mostrar los méritos de un algoritmo sobre otro puedan dar resultados sobre una cantidad suficiente de datos retenidos para que los resultados sean estadísticamente significativos. Esto incluso se puede hacer usando la validación cruzada N-fold cuando los datos etiquetados son escasos. También es importante tener un resultado de referencia razonable en los mismos datos.

Algunos algoritmos como tress de decisión y regresiones logísticas regularizadas L1 le dan una forma de interpretar qué características son las más importantes para la clasificación (cuáles están en la parte superior del árbol o cuáles obtienen el mayor peso).

Hay algunas tareas para las cuales la verdad básica no está disponible o no se considera necesaria. Me vienen a la mente técnicas no supervisadas como la agrupación o la reducción de la dimensionalidad. En estos casos, los resultados pueden ser más cualitativos (por ejemplo, al examinar las propiedades de los modelos resultantes en comparación con otros algoritmos).

Aprendizaje automáticoExperimentosInvestigación científicaMinería de datos