¿Por qué los puntos fijos son interesantes / importantes desde una perspectiva de optimización matemática?

Hay muchas cosas que uno podría mencionar aquí, hay varios famosos teoremas de punto fijo, por ejemplo, de Banach, etc., uno podría mencionar los algoritmos de búsqueda de raíz yy, pero intentemos encontrar una explicación intuitiva.

Configuración: queremos minimizar una función dada f que está limitada desde abajo y tenemos un método iterativo M a mano que produce una secuencia de iteraciones x_k, x_ (k + 1), … Los valores de función correspondientes f (x_k), f (x_ (k + 1)), … se supone que disminuyen monotónicamente y también se asume que el dominio donde se define el problema está limitado (por razones de simplicidad, de lo contrario podría suceder que solo los valores de la función converjan mientras los iteraciones no haga). Además, debemos excluir las funciones constantes f, porque de lo contrario cualquier método iterativo M resolvería nuestro problema.

Informalmente, tenemos un método iterativo M, un procedimiento algorítmico, que toma una iteración x_k y genera una nueva iteración x_ (k + 1), que está más cerca del mínimo (si existe), por ejemplo, M puede ser un algoritmo de Descenso de gradiente aplicado a una función diferenciable (bajo supuestos adecuados). Para todos estos métodos iterativos usamos la notación M (x_k) = x_ (k + 1).

Ahora a los puntos fijos: en la configuración anterior, cualquier solución x ^ *, es decir, un mínimo local, debe cumplir con la propiedad de punto fijo M (x ^ *) = x ^ *. Eso es. La optimización matemática básicamente no es más que buscar puntos fijos.