Некоторые методы поиска экстремумов в нелинейных системах:

• Методы прямого поиска. 14 При поиске экстремума целевой функции используются только её значения. 14 Примеры: метод Хука–Дживса, метод сопряжённых направлений (метод Пауэлла). 3
• Градиентные методы первого порядка. 14 При поиске экстремума функции используются значения её первых производных. 14 Примеры: метод наискорейшего спуска (метод Коши), метод Ньютона, метод Марквардта. 3
• Градиентные методы второго порядка. 14 При поиске экстремума функции наряду с первыми производными используются и вторые производные. 14 Примеры: метод сопряжённых градиентов (метод Флетчера-Ривса), метод Бройдена–Флетчера–Гольдфарба–Шанно (квазиньютоновские методы). 3
• Методы перебора. 3 Применимы для отыскания экстремумов унимодальных целевых функций. 3 Примеры: методы дихотомии, золотого сечения. 3
• Метод прямой оптимизации. 4 Применяется, когда ограничения типа равенства описываются простыми, желательно линейными функциями. 4 Из каждого ограничения последовательно выражается одна переменная, а в других ограничениях вместо неё производится подстановка. 4 В результате получается одно уравнение или система уравнений с меньшим количеством переменных. 4

Ни один метод нелинейного программирования не является универсальным. 1 В каждом конкретном случае необходимо приспосабливать применяемый метод к особенностям решаемой задачи. 1