Некоторые основные методы оптимизации вычислений:

• Методы прямого поиска (нулевого порядка). 2 Основаны на вычислении только значений целевой функции. 2 К ним относятся методы исключения интервалов и квадратичной аппроксимации. 2
• Методы 1-го порядка. 2 В них используются точные значения первых производных. 2 Например, метод средней точки и другие интервальные методы решения уравнения f¢(x) = 0, метод кубической аппроксимации. 2
• Ньютоновские методы. 3 Опираются на возможность аппроксимации кривизны нелинейной целевой функции без явного формирования её матрицы Гессе. 3 Данные о кривизне накапливаются на основе наблюдения за изменением градиента во время спуска. 3
• Динамическое программирование. 1 Разделяет процесс на этапы, каждый из которых представляет собой отдельную оптимизационную задачу. 1 Метод определяет оптимальную стратегию управления на всех стадиях процесса. 1
• Метод ветвей и границ. 1 Разбивает множество оптимизации на подмножества, на границах которых строятся оценки критерия оптимизации. 1 Если нижняя граница значений критерия на подмножестве больше, чем верхняя граница на каком-либо ранее просмотренном подмножестве, то критерий можно исключить из дальнейшего рассмотрения. 1