Какие методы оптимизации используются для нахождения экстремальных точек?

Для нахождения экстремальных точек (минимума или максимума) функции используют различные методы оптимизации, среди них:

• Методы классического математического анализа. 1 Основаны на исследовании производных функции. 1
• Численные методы. 1 Основаны на действиях с конечными числами. 1 Отличаются способом выбора направления и движения от начальной точки к экстремуму. 1
• Методы для функции одной переменной. 1 К ним относятся, например, метод сканирования, метод локализации экстремума, метод золотого сечения, метод поиска с использованием чисел Фибоначчи. 1
• Методы для функции многих переменных без использования производных. 1 К ним относятся метод сканирования, метод Гаусса — Зейделя, поиск по деформируемому многограннику (симплекс-планирование) и другие. 1
• Методы для функции многих переменных с использованием производных. 1 К ним относятся методы градиента, наискорейшего спуска, крутого восхождения, релаксаций, Ньютона и другие. 1
• Эвристические методы. 2 В их основе лежит итерационная процедура приближения к точке предполагаемого оптимума. 2 К таким методам относятся, например, метод моделирования отжига, генетические алгоритмы, метод роя частиц. 2