В чем преимущества и недостатки градиентного спуска перед другими методами машинного обучения?

Преимущества градиентного спуска перед другими методами машинного обучения:

• Сочетание скорости и точности. 1 Метод позволяет обучать модели быстро и снижать погрешности, особенно при использовании улучшенных версий. 1
• Подходит для работы с функциями ошибок, у которых много параметров. 1

Недостатки градиентного спуска:

• Может находить локальный минимум, а не глобальный. 1 То есть минимальное значение на каком-то небольшом участке. 1
• Градиент способен затухать или «взрываться». 1
• Переобучение. 1 Модель оказывается слишком хорошо натренирована на обучающих примерах, а на реальных даёт неточные результаты. 1

Для устранения этих ошибок используют специальные модификации градиентного спуска, например, стохастический, мини-батч или добавление моментума (импульса). 13