Некоторые методы, которые используются для нахождения экстремумов в задачах оптимизации:

• Локальные методы. 1 Сходятся к локальному экстремуму целевой функции. 1 В случае унимодальной целевой функции этот экстремум единственен и будет глобальным максимумом/минимумом. 1
• Глобальные методы. 1 Имеют дело с многоэкстремальными целевыми функциями. 1 При глобальном поиске основной задачей является выявление тенденций глобального поведения целевой функции. 1
• Методы прямого поиска. 14 В них используют значения функции в точках рассматриваемого промежутка и не используют значения её производных. 4 Например, метод Хука–Дживса, метод сопряжённых направлений (метод Пауэлла). 1
• Градиентные методы. 1 К ним относятся метод наискорейшего спуска (метод Коши), метод Ньютона, модифицированный метод Ньютона, метод Марквардта. 1
• Методы второго порядка. 2 Это методы поиска экстремума функции нескольких переменных, шаг поиска минимума в которых определяется матрицей Гессе. 2 Например, метод Ньютона, метод Ньютона–Рафсона, квази-Ньютоновские методы, метод Левенберга–Марквардта. 2

Выбор метода зависит от класса задачи и других факторов. 1