¿Cuáles son las diferencias entre los métodos iterativos y los métodos heurísticos en la optimización numérica?

Buena pregunta. La terminología aquí puede ser un poco confusa.

En términos generales, se garantiza que los métodos “exactos” producirán una solución óptima si no limita el tiempo o la memoria, si los problemas numéricos (redondeo) no superan la precisión, si el problema cumple con las condiciones para usarlos (suavidad, linealidad, convexidad, lo que sea) y si hay varios objetos celestes alineados correctamente. En contraste, los métodos “heurísticos”, a veces llamados métodos “aproximados”, están diseñados para producir buenas respuestas rápidamente, pero no ofrecen ninguna garantía de encontrar un verdadero óptimo.

La frase “método iterativo” es ortogonal a la distinción exacta / aproximada. Un método iterativo genera una nueva solución (con suerte mejorada) a partir de una solución anterior. Entonces, el método simplex (exacto) y el algoritmo codicioso (aproximado) son iterativos.

Ahora, aquí viene una arruga. Algunas personas usan “algoritmo” para significar “algoritmo exacto” y “heurístico” para significar “algoritmo aproximado”. Otras personas (y creo que los informáticos caen en esta categoría) tienden a interpretar el “algoritmo” como “receta computacional”, de modo que tanto los métodos exactos como los aproximados son algoritmos. Prefiero el último pero ocasionalmente me quedo dormido en el teclado y me caigo en el primero.

Aquí hay otra arruga: hay una serie de algoritmos (en el sentido de la receta) que están garantizados para converger a un óptimo global si se inicia en un buen lugar, pero o garantizan solo un óptimo local o ni siquiera garantizan la convergencia si se inicia en Un mal lugar. ¿Los llamamos “exactos” o “heurísticos”? No estoy seguro de que haya consenso.

En lo que respecta a Nelder-Mead, no soy positivo, pero creo que la convergencia a un óptimo global está garantizada si se cumplen ciertas condiciones estrictas. En condiciones menos estrictas, se garantiza la convergencia al menos a un óptimo local. En el peor de los casos (lo que significa que no satisface las condiciones más flexibles), creo que está garantizado que converja, pero no a nada útil. Por lo tanto, me inclinaría a llamarlo heurístico, pero, una vez más, no estoy seguro de que haya consenso.