Considere un problema de optimización convexa restringida [math] l_1 [/ math]. ¿Cuál es la relación entre a) la solución óptima al problema y 2) la solución adquirida al resolver el caso sin restricciones y luego normalizar?

Consulte EE364B: seleccione algunas notas de optimización de subgradiente restringidas para una referencia rápida.

Suponga que su variable de optimización es w. Digamos que resuelve un problema de optimización sin restricciones y obtuvo, w = w_1 como su solución. Ahora, cuando normaliza eso de modo que w = w_1 / || w_1 || _1, es básicamente un paso de proyección donde está proyectando su variable al conjunto de puntos factibles (que satisfacen la restricción de la norma L1). Pero cuando haces esto, no puedes saber qué es w. Puede estar muy lejos de lo óptimo, pero puede garantizar que esté en el conjunto factible.

Si desea resolverlo sin restricciones, no puede resolver el problema original como uno sin restricciones con solo el objetivo. Vea, por ejemplo, cómo funcionan los métodos de proyección o vea, por ejemplo, algunos métodos de subgrado.

En lugar de ir sin restricciones y luego normalizar, lo que puede hacer es esto:
– Suponga que w es la variable de optimización
– Considere la función objetivo como F y la restricción como F1
– En cada paso, tome el gradiente, g, como

g = \ nabla F si w satisface F1
g = \ nabla F1 de lo contrario

Esto asegurará que la solución final sea óptima y satisfaga las limitaciones. Puede optar por una versión más sofisticada de lo que he dicho anteriormente (solo lea cualquier documento o tutorial de optimización restringida basado en subgrado y obtendrá la imagen completa). He enumerado una versión muy básica ya que insististe en resolver un problema sin restricciones.

Actualización: Incluso después de responder a su pregunta, no pude sacarlo de mi cabeza. Al principio pensé que el problema es básicamente sobre dos conjuntos de intersección que son convexos (y dibujé imágenes equivocadas en mi cabeza). Entonces, para convencerme y responder a sus dudas, dibujé un pequeño cuadro en papel y aquí está:

Verá que el paso de normalización puede conducir a un punto que no es el óptimo pero que satisface la restricción.

Lo siento por la mala calidad de la imagen. La cámara de mi teléfono produjo eso. Ves los contornos, del objetivo. El punto en el medio de los contornos x * es la solución óptima sin restricciones. Cuando normaliza, obtiene el punto en la intersección del cuadrado (contorno F1 y el contorno punteado elipsoidal de F0, el objetivo). Pero la solución real se encuentra en la esquina superior del contorno de restricción F1.

¡Así que básicamente no puedes garantizar la óptima después de la normalización!