Почему стохастический градиентный спуск может привести к более нестабильным результатам обучения?

Стохастический градиентный спуск (SGD) может привести к более нестабильным результатам обучения, потому что каждый шаг алгоритма зависит от одного примера из набора данных, а не от всей информации. kartaslov.ru

Это делает путь к цели «дрожащим», так как каждый пример может немного менять направление. kartaslov.ru Кроме того, SGD чувствителен к скорости обучения, и неправильный выбор этого параметра может сильно повлиять на результаты алгоритма. www.mql5.com Например, более высокая скорость обучения может привести к тому, что алгоритм выйдет за пределы глобальных минимумов, а более низкая — замедлить процесс сходимости. www.mql5.com

Также в сложных функциях, которыми являются нейронные сети, величина градиентов может значительно различаться для разных параметров. www.mql5.com Это может привести к медленному схождению, так как параметры с небольшими градиентами могут обновляться очень медленно. www.mql5.com