В чем заключается основное отличие стохастического градиентного спуска от обычного?

Основное отличие стохастического градиентного спуска (SGD) от обычного градиентного спуска заключается в том, что при SGD градиент оптимизируемой функции считается на каждом шаге не как сумма градиентов от каждого элемента выборки, а как градиент от одного, случайно выбранного элемента. vk.com

Это позволяет ускорить процесс обучения и сделать его более эффективным в случае работы с большими наборами данных или моделями, требующими значительных вычислительных ресурсов. vk.com Однако SGD может выдавать менее точные результаты по сравнению с классическим градиентным спуском. vk.com

При стандартном градиентном спуске алгоритм вычисляет градиент функции стоимости, используя весь набор обучающих данных. codelabsacademy.com Он обновляет параметры модели, предпринимая шаги, пропорциональные отрицательному градиенту всего набора данных. codelabsacademy.com