В чем разница между итеративными и прямыми методами оптимизации?

Разница между итеративными и прямыми методами оптимизации заключается в следующем:

1. Прямые методы — это алгоритмы, позволяющие получить решение за конечное число арифметических действий. habr.com При поиске экстремума используется информация только о самой функции и не применяется информация о её производных. ami.nstu.ru
2. Итерационные методы — это алгоритмы, в которых решение получается как предел при стремлении числа итераций к бесконечности. habr.com При конечных значениях итераций получаются приближённые решения. habr.com

Таким образом, при использовании прямых методов нужно выполнить определённый объём работы, и тогда будет получено решение. math.stackexchange.com С помощью итерационных методов всегда обновляется старое предположение и получается решение, которое становится немного ближе к истинному. math.stackexchange.com