Для оптимизации вычислений в экстремальных задачах можно использовать различные методы, например:

• Прямые методы. 12 Требуют только вычислений целевой функции в точках приближений. 2
• Методы первого порядка. 12 В них используются вычисления первых частных производных функции. 2
• Методы второго порядка. 12 В них применяются вычисления вторых частных производных (определение гессиана целевой функции). 1
• Аналитические методы. 1 К ним относятся метод множителей Лагранжа и условия Куна-Таккера (необходимые и достаточные условия оптимальности для решения задач нелинейного программирования). 1
• Методы математического программирования. 2 Используются, если в задаче оптимизации имеется система ограничений и требование неотрицательности переменных. 2 К ним относятся методы линейного, целочисленного, нелинейного, квадратичного, дробно-линейного, динамического, параметрического и стохастического программирования. 2
• Методы многомерной случайной оптимизации. 3 Позволяют в среднем быстрее выходить в район оптимума и эффективны при поиске глобального оптимума. 3 К ним относятся метод слепого поиска, метод случайных направлений, метод поиска с «наказанием случайностью», метод с «блуждающим» поиском. 3

Выбор метода зависит от класса задачи. 1