Некоторые методы для определения экстремальных значений в многомерных пространствах:

• Метод покоординатного спуска (Гаусса-Зейделя). 1 Метод безусловной оптимизации нулевого порядка, в котором направления поиска выбираются поочерёдно вдоль всех координатных осей, шаг рассчитывается на основе одномерной оптимизации. 1
• Метод вращающихся координат (Розенброка). 1 Метод безусловной оптимизации нулевого порядка, в котором реализуется покоординатный спуск, но вдоль координатных осей, поворачиваемых таким образом, чтобы направление одной из осей было близко к направлению, параллельному дну оврага. 1
• Симплексный метод (метод деформируемого многогранника или метод Нелдера-Мида). 1 Метод безусловной оптимизации нулевого порядка, основанный на многократно повторяемых операциях построения многогранника с (n+1) вершинами, где n — размерность пространства управляемых параметров, и перемещения наихудшей вершины (с наихудшим значением целевой функции) в направлении центра тяжести многогранника. 1
• Метод градиентного спуска. 1 Метод нахождения локального минимума (максимума) функции с помощью движения вдоль градиента с переменным (дробным) шагом, который задаётся пользователем. 1
• Метод Ньютона. 1 Метод безусловной оптимизации, основанный на использовании необходимых условий безусловного экстремума целевой функции: равенству нулю первой производной. 1
• Метод множителей Лагранжа. 2 Стратегия для нахождения локальных максимумов и минимумов функции с учётом ограничений на равенство. 2 Этот метод преобразует задачу ограниченной оптимизации в систему уравнений, которая может быть решена для нахождения оптимальных точек. 2
• Методы слепого поиска. 4 Сущность решения задач на определение экстремума функции многих переменных с помощью этих методов заключается в организации просмотра (в определённом порядке или случайным образом) допустимой области изменения оптимизируемых параметров и сравнении соответствующих значений функции. 4