Для нахождения максимумов и минимумов в сложных многомерных системах используются различные методы, среди них:

• Методы нулевого порядка (прямые методы). 1 К ним относятся, например, координатный спуск, спиральный координатный спуск, метод Розенброка, поиск по симплексу, Хука–Дживса с поиском по образцу и другие. 1
• Методы многомерной случайной оптимизации. 3 Они позволяют быстрее выходить в район оптимума и эффективны при поиске глобального оптимума. 3 К таким методам относятся метод слепого поиска, метод случайных направлений, метод поиска с «наказанием случайностью», метод с «блуждающим» поиском. 3
• Методы многомерной условной оптимизации. 3 К ним относятся численные методы построения улучшающих последовательностей при наличии ограничений типа равенств и типа неравенств. 3 Основные методы этой группы: метод штрафов, метод прямого поиска с возвратом, метод проектирования градиента. 3
• Методы стохастического программирования или нейронных сетей. 1 Их применяют, когда вид оптимизируемой функции известен не полностью или её структура слишком сложна. 1

Выбор метода зависит от свойств минимизируемой функции, ограничений и имеющихся возможностей по хранению и обработке информации. 5