Какие существуют модификации градиентного спуска для решения сложных задач оптимизации?

Некоторые модификации градиентного спуска для решения сложных задач оптимизации:

• Градиентный спуск с моментом. yourtodo.life libeldoc.bsuir.by Учёт предыдущих изменений параметров модели при текущем обновлении. yourtodo.life Это придаёт «инерцию» обучению, что помогает алгоритму ускоряться в плоских областях и эффективнее преодолевать локальные минимумы. yourtodo.life
• Nesterov Accelerated Gradient. yourtodo.life Подход учитывает направление градиента в будущем шаге, что позволяет более эффективно корректировать параметры. yourtodo.life Помогает избежать «перепрыгивания» через минимум, делая движение к глобальному минимуму более точным. yourtodo.life
• Адаптивные методы. yourtodo.life Например, AdaGrad, RMSprop, Adam. yourtodo.life Они адаптируют скорость обучения индивидуально для каждого параметра, что помогает более эффективно оптимизировать «сложные» параметры. yourtodo.life
• Стохастический градиентный спуск. books.ifmo.ru Используется для увеличения устойчивости получаемого результата в задачах калибровки моделей. books.ifmo.ru В процессе градиентного спуска для обновления части или всего набора параметров модели используются поднаборы данных для наблюдений. books.ifmo.ru
• Метод оврагов. ru.wikipedia.org Используется, когда метод градиентного спуска оказывается очень медленным при движении по оврагу. ru.wikipedia.org После двух шагов градиентного спуска и получения трёх точек, третий шаг делается в направлении вектора, соединяющего первую и третью точки, вдоль дна оврага. ru.wikipedia.org
• Метод сопряжённых градиентов. ru.wikipedia.org Эффективен для функций, близких к квадратичным. ru.wikipedia.org Также для этих целей может использоваться метод коллинеарных градиентов. ru.wikipedia.org