Какие преимущества и недостатки имеют методы первого порядка?

Некоторые преимущества методов первого порядка:

• Использование информации о производных первого порядка. 35 В процессе поиска решения такие методы применяют не только данные о функции, но и сведения о её производных. 35
• Возможность решения сложных технических и экономических задач. 5 Методы первого порядка не требуют регулярности и непрерывности целевой функции, а также существования производных. 5

Некоторые недостатки методов первого порядка, например алгоритма наискорейшего спуска:

• Зависимость эффективности от вида минимизируемой функции. 3 В некоторых ситуациях, когда линии уровня функции представляют собой прямолинейный или криволинейный «овраг», эффективность алгоритма низкая. 3
• Возможность завершения процедуры в седловой точке. 3 Нужно проверять, не завершился ли алгоритм в такой точке. 3
• Медленная сходимость в районе экстремума. 3 Процесс обычно быстро сходится вдали от точки экстремума и медленно в районе экстремума. 3

К методам первого порядка относятся различные градиентные алгоритмы. 35