Основные методы оптимизации математических вычислений включают:

• Прямые методы. 13 Требуют только вычислений целевой функции в точках приближений. 1
• Методы первого порядка. 13 Используют вычисления первых частных производных функции. 3
• Методы второго порядка. 13 Требуют вычисления вторых частных производных, то есть гессиана целевой функции. 1
• Методы математического программирования. 3 Используются, если в задаче оптимизации имеется система ограничений и требование неотрицательности переменных. 3 К ним относятся методы линейного, целочисленного, нелинейного, квадратичного, дробно-линейного, динамического, параметрического и стохастического программирования. 3
• Методы многомерной случайной оптимизации. 4 Позволяют в среднем быстрее выходить в район оптимума. 4 Эффективны при поиске глобального оптимума. 4 К методам этой группы относятся метод слепого поиска, метод случайных направлений, метод поиска с «наказанием случайностью», метод с «блуждающим» поиском. 4
• Методы многомерной условной оптимизации. 4 К этой группе относятся численные методы построения улучшающих последовательностей при наличии ограничений типа равенств и типа неравенств. 4 Основными методами данной группы являются метод штрафов, метод прямого поиска с возвратом, метод проектирования градиента. 4