Какие существуют методы оптимизации при работе с функциями многих переменных?

Некоторые методы оптимизации при работе с функциями многих переменных:

• Методы прямого поиска. 5 Основаны на вычислении только значений целевой функции. 5 Примеры: метод перебора, метод поразрядного поиска, методы исключения отрезков (метод дихотомии, метод Фибоначчи, метод «золотого сечения» и другие). 2
• Методы, использующие производные функции. 2 К ним относятся, например, метод средней точки, метод хорд, метод Ньютона, метод кубической аппроксимации. 2
• Классический метод. 3 Основан на том, что в точке экстремума градиент функции равен нулю. 3 Классический метод не позволяет решать задачи оптимизации при наличии ограничений в виде неравенств. 3
• Метод множителей Лагранжа. 3 Применяется для задач условной оптимизации при наличии ограничений в виде равенств, неравенств, а также при наличии обоих видов ограничений. 3
• Методы координатного спуска. 5 Заключаются в поочерёдном поиске минимума по координате, затем по другой и так далее. 5 Поиск ведётся с одинаковым шагом, который уменьшается после нахождения всех значений. 5