Какие существуют методы нахождения локальных максимумов и минимумов в задачах оптимизации?

Некоторые методы нахождения локальных максимумов и минимумов в задачах оптимизации:

• Метод полного перебора. 2 Область определения оптимизируемой функции разбивают на равные промежутки и вычисляют целевую функцию в каждой точке получившейся сетки. 2 Из получившихся значений выбирают минимальное. 2 Этот метод самый ресурсоёмкий, но работает для любых функций. 2
• Метод дихотомии. 1 Сначала находят середину интервала и вычисляют в близких друг к другу точках два значения функции. 1 Если первое значение меньше второго, то функция в середине отрезка возрастает, и дальнейший поиск минимума ведут в интервале, где b = x1. 1 Если первое значение больше второго, то функция в середине отрезка убывает, и поиск минимума ведут в интервале, где a = x1. 1
• Градиентный метод оптимизации. 1 В точке экстремума градиент равен нулю. 1 Двигаясь по градиенту (антиградиенту), можно достичь максимума (минимума) функции. 1
• Квазиньютоновские методы. 1 Основаны на накоплении информации о кривизне целевой функции по наблюдениям за изменением градиента. 1
• Методы исключения отрезков. 3 К ним относятся, например, метод Фибоначчи, метод «золотого сечения». 3 На каждой итерации выбирают две точки и сравнивают значения функции в них. 3
• Методы, использующие производные функции. 3 К ним относятся метод средней точки, метод хорд, метод Ньютона, метод кубической аппроксимации и другие. 3