Какие существуют модификации метода градиентного спуска для обучения нейронных сетей?

Некоторые модификации метода градиентного спуска для обучения нейронных сетей:

• Стохастический градиентный спуск (SGD). sky.pro Веса модели обновляются на основе одного случайно выбранного примера из обучающего набора данных. sky.pro Это делает процесс обучения более шумным, но помогает избежать локальных минимумов. sky.pro
• Мини-батч градиентный спуск. sky.pro Представляет собой компромисс между обычным градиентным спуском и стохастическим. sky.pro Веса обновляются на основе небольших подмножеств данных (батчей), что позволяет ускорить обучение и улучшить стабильность. sky.pro
• Добавление моментума, или импульса. blog.skillfactory.ru Вместо расчёта новых градиентов используется среднее по прошлым градиентам, что помогает стабилизировать и ускорить обучение. blog.skillfactory.ru
• Адаптивные методы. sky.pro Такие как Adam, RMSprop и Adagrad, автоматически изменяют скорость обучения в процессе тренировки. sky.pro Они учитывают историю градиентов и адаптируют шаги обучения для каждого параметра модели. sky.pro
• Ускоренный градиент Нестерова (NAG). www.geeksforgeeks.org Является продолжением импульсного градиентного спуска. www.geeksforgeeks.org Оценивает градиент в гипотетическом положении перед текущим положением на основе текущего вектора импульса, что может привести к более быстрой конвергенции и повышению производительности. www.geeksforgeeks.org