В чём заключается выигрыш метода Ньютона по сравнению с классическим градиентным спуском?

Некоторые преимущества метода Ньютона перед классическим градиентным спуском:

• Более высокая скорость сходимости. deepmachinelearning.ru Метод Ньютона находит минимум квадратичного функционала за одну итерацию. deepmachinelearning.ru
• Движение к глобальному минимуму. habr.com В отличие от градиентного спуска, метод Ньютона на каждом шаге движется к глобальному минимуму, а не к локальному. habr.com
• Автоматическая настройка шага обучения. deepmachinelearning.ru Шаг обучения настраивается автоматически по скорости изменения градиента с помощью матрицы вторых производных (Гессе). deepmachinelearning.ru
• Работа с овражными функциями. hub.exponenta.ru При минимизации таких функций скорость сходимости метода Ньютона выше, чем у градиентных методов. hub.exponenta.ru

Однако у метода Ньютона есть и недостатки: в некоторых задачах трудоёмкость итерации может быть высокой из-за необходимости вычисления матрицы вторых производных минимизируемой функции. hub.exponenta.ru

Пользователь

Время добавления