В чем преимущества метода Нелдера-Мида перед градиентными методами оптимизации?

Преимущества метода Нелдера-Мида перед градиентными методами оптимизации заключаются в следующем:

• Отсутствие ограничений на гладкость функции. hmath.spbstu.ru Метод легко применим к негладким и/или зашумлённым функциям. ru.wikipedia.org
• Эффективность при низкой скорости вычисления минимизируемой функции. hmath.spbstu.ru На каждой итерации вычисляется значение функции не более чем в трёх точках, что важно в случае сложно вычислимой функции. mathprofi.com

Однако у метода Нелдера-Мида есть и недостатки: для него не существует теории сходимости, и на практике он может приводить к неверному ответу даже на гладких функциях. habr.com mathprofi.com

Таким образом, выбор между методом Нелдера-Мида и градиентными методами оптимизации зависит от конкретных задач и требований к результату.