Как стохастический градиентный спуск используется в машинном обучении?

Стохастический градиентный спуск (SGD) используется в машинном обучении для минимизации функции стоимости путём повторения обновления веса на основе градиентов. biconsult.ru Вместо просмотра полного набора данных обновление веса применяется к случайно извлечённым из него пакетам, поэтому его также называют мини-пакетным градиентным спуском. biconsult.ru

Некоторые области применения SGD в машинном обучении:

• линейный метод опорных векторов; ru.wikipedia.org
• логистическая регрессия; ru.wikipedia.org
• графовые вероятностные модели. ru.wikipedia.org

Когда метод комбинируется с алгоритмом обратного распространения ошибки, он является де-факто стандартным алгоритмом для обучения искусственных нейронных сетей. ru.wikipedia.org

Также SGD успешно применяется для решения крупномасштабных и разреженных задач машинного обучения, часто встречающихся в классификации текстов и обработке естественного языка. scikit-learn.ru