Как стохастический градиентный спуск используется в машинном обучении?

Стохастический градиентный спуск (SGD) используется в машинном обучении для минимизации функции стоимости путём повторения обновления веса на основе градиентов. 4 Вместо просмотра полного набора данных обновление веса применяется к случайно извлечённым из него пакетам, поэтому его также называют мини-пакетным градиентным спуском. 4

Некоторые области применения SGD в машинном обучении:

• линейный метод опорных векторов; 1
• логистическая регрессия; 1
• графовые вероятностные модели. 1

Когда метод комбинируется с алгоритмом обратного распространения ошибки, он является де-факто стандартным алгоритмом для обучения искусственных нейронных сетей. 1

Также SGD успешно применяется для решения крупномасштабных и разреженных задач машинного обучения, часто встречающихся в классификации текстов и обработке естественного языка. 5