Ambos tienen méritos y deméritos cuando se usan como medida de incertidumbre.
Veamos qué significan las dos medidas intuitivamente
La varianza [matemática] \ sigma ^ 2 = \ frac {\ sum_ {i = 1} ^ {n} (x_i – \ mu) ^ 2} {n} [/ matemática] captura la propagación entre los resultados, cuantitativamente como desviación alrededor el significado.
mientras que la entropía [matemática] H (x) = – \ sum p_ {i} \ log (p_ {i}) [/ matemática] es algo que se maximiza cuando cada uno de los resultados ocurre con la misma probabilidad i, mucha incertidumbre y se minimiza cuando solo hay un resultado único, sin incertidumbre.
- ¿Debería hacer alemán B con HL de física y matemáticas para poder enfocarme mejor en física y matemáticas, o debería hacer un HL más desafiante?
- ¿Es el movimiento una asignatura de matemáticas o física?
- ¿Qué es la entropía de permutación?
- ¿Cómo podemos imaginar la 4ta dimensión?
- ¿Cuál es el primer momento de área y cómo se usa? Estoy estudiando cómo usar el primer momento para determinar el centro de una placa usando la integral doble. ¿El primer momento significa el par necesario para rotar la placa alrededor del eje x & y?
Tenga en cuenta que la entropía [matemática] H (x) [/ matemática] no captura la extensión y la magnitud de los valores de resultado [matemática] x_i [/ matemática]. Solo depende de las probabilidades de propagación. Pero [math] \ sigma ^ 2 [/ math] lo captura y se prefiere donde importa.
Pero en el caso de una distribución multimodal donde los resultados con probabilidades se agrupan alrededor de dos o más picos (modos), [matemática] \ sigma ^ 2 [/ matemática] es una medida pobre ya que ofusca esta importante información estructural y no es sensible a múltiples modos. Es posible que [matemática] H (x) [/ matemática] aumente mientras que [matemática] \ sigma ^ 2 [/ matemática] disminuya en estos casos. La entropía es generalmente una mejor medida aquí.
Entonces, solo en el caso de una distribución unimodal como Normal, comparten una relación monotónica, por lo que optimizar uno de los dos significaría el otro.
