Procesamiento de señal digital: ¿Cómo comprende geométricamente que la proyección ortogonal durante la aproximación de mínimos cuadrados tiene un error de norma mínima?

Voy a suponer que está tratando de resolver un problema como [math] A \ mathbf {x} = \ mathbf {b} [/ math], donde [math] A [/ math] es un [math] m \ veces n [/ math] matriz con [math] m> n [/ math] (más ecuaciones que incógnitas). Para simplificar las cosas, supondré que [matemáticas] A [/ matemáticas] es de rango de columna completa [matemáticas] rango (A) = n [/ matemáticas].

Deje que [math] \ mathbf {a} _k [/ math] sea la columna [math] k ^ {\ mathrm {th}} [/ math] de [math] A [/ math], entonces estamos tratando de encontrar [ math] x_k [/ math] tal que [math] \ mathbf {b} = \ sum_ {k = 1} ^ n x_k \ mathbf {a} _k [/ math]. Es decir, estamos tratando de escribir el RHS como una combinación lineal del conjunto de vectores [math] \ big \ {\ mathbf {a} _k \ big \} [/ math]. Dado que el rango [math] (A) = n [/ math], este conjunto de vectores es una base para su ‘span y el span [math] V [/ math] es un subespacio dimensional [math] n [/ math] de [matemáticas] \ mathbb {R} ^ m [/ matemáticas].

Dado que [math] dim (\ mathbf {b}) = m> n [/ math], todo lo que podemos hacer es encontrar la mejor aproximación [math] \ hat {\ mathbf {b}} [/ math] a [math] \ mathbf {b} [/ math] en el subespacio [math] V [/ math]. En este sentido, intentaremos minimizar el cuadrado de la distancia [math] \ | \ mathbf {b} – \ hat {\ mathbf {b}} \ | ^ 2 [/ math].

Ahora, dado que [math] V [/ math] es un subespacio de [math] \ mathbb {R} ^ m [/ math] tiene una base ortornormal [math] \ {\ mathbf {w} _k \} [/ math ] El problema en cuestión se puede escribir como

[matemáticas]
\ mathrm {min} _ {\ mathbf {\ alpha}} \ | \ mathbf {b} – \ sum_ {k = 1} ^ n \ alpha_k \ mathbf {w} _k \ | ^ 2
[/matemáticas]

Si resuelve este problema de minimización, encontrará que [math] \ alpha_k = \ mathbf {b} \ cdot \ mathbf {w} _k [/ math]. Concluimos que el minimizador es la proyección ortogonal de [math] \ mathbf {b} [/ math] sobre [math] V [/ math].

Esto, por supuesto, puede probarse analíticamente, pero esencialmente no es más que una extensión de un problema muy familiar en la geometría euclidiana a espacios vectoriales.

Considera el problema de encontrar

[matemáticas] \ displaystyle \ hat {u} = \ arg \ min_ {u \ en U} || uv || [/matemáticas]

donde tenemos el espacio de Hilbert [matemática] U [/ matemática], sobre el campo [matemática] \ mathbb {R} [/ matemática] y la norma [matemática] || \ cdot || [/ math] inducido por el producto interno [math] \ langle \ cdot, \ cdot \ rangle [/ math].

Entonces, la mejor aproximación de [math] v [/ math] en el conjunto [math] U [/ math], [math] \ hat {u} [/ math] es tal que el error de aproximación [math] (v- \ hat {u}) [/ math] es ortogonal a cada elemento de [math] U [/ math].

Dejaré que se satisfaga intuitivamente que cuando encuentre una distancia entre un punto y una línea (y el punto no esté en la línea), encontrará la distancia perpendicular, porque esa es la métrica que minimiza la distancia entre El punto y la línea. Exactamente lo mismo sucede aquí. Cuando intenta encontrar la mejor [matemática] \ hat {u} [/ matemática] que se aproxima a [matemática] v [/ matemática] en el conjunto [matemática] U [/ matemática], intenta minimizar el error de aproximación (en este caso [math] (v- \ hat {u}) [/ math]) asegurándose de que este error sea normal para cada elemento en [math] U [/ math].

¡Espero que esto ayude!

La distancia perpendicular es la distancia más corta entre un punto y una línea (o en este caso subespacio). En este caso, la proyección que le dará la distancia más corta (que dará como resultado un error de norma mínima aquí) es la proyección ortogonal del punto en la línea. Espero que esto ayude.