Debido a que la pérdida de entropía cruzada depende del “margen” (la probabilidad de la etiqueta correcta menos la probabilidad de la etiqueta incorrecta más cercana), mientras que la pérdida del indicador solo analiza si la etiqueta correcta tiene la probabilidad más alta. Entonces, esencialmente, están mirando diferentes cantidades, y no hay razón para que se comporten de manera idéntica.
Veamos un ejemplo rápido de juguete. Supongamos que tiene un punto de datos con solo 1 instancia de entrenamiento y 5 posibles clases 1, 2, 3, 4, 5. Deje que la verdadera etiqueta de la única instancia de entrenamiento sea 2.
Suponga que en algún momento del entrenamiento, sus probabilidades predichas por el modelo son [matemáticas] [0.3, 0.4, 0.2, 0.1, 0] [/ matemáticas]. Entonces la clase predicha es 2, que es correcta. La pérdida del indicador es, por lo tanto, 0. La pérdida de entropía cruzada es la negativa de la probabilidad de la clase 2, que es -0.4. Ahora, si entrena más su modelo, y las nuevas probabilidades son [matemáticas] [0.1, 0.8, 0.05, 0.05, 0] [/ matemáticas], la pérdida del indicador permanece en cero, pero la pérdida de entropía cruzada se reduce a – 0.8. Claramente, este es un resultado más deseable que el último conjunto de probabilidades porque el “margen” es mayor. Por lo tanto, tiene sentido seguir entrenando su modelo incluso después de que la pérdida del indicador haya dejado de disminuir, si la pérdida de entropía cruzada sigue disminuyendo.
- ¿Cómo son útiles los números imaginarios?
- ¿Existe una relación entre el formato y el teorema de Euler?
- ¿Cuál es la conjetura de Birch y Swinnerton-Dyer en términos simples?
- Cómo calcular el costo de electricidad de ejecutar un dispositivo electrónico durante un año
- ¿Qué es un functor en teoría de categorías?
La salida ideal es [matemática] [0, 1, 0, 0, 0] [/ matemática].
