В чем преимущества и недостатки различных методов стохастического градиентного спуска?

Преимущества стохастического градиентного спуска:

• Эффективность и скорость сходимости. {6-host} Обучение происходит быстрее, так как модель обновляет веса после каждого примера. kartaslov.ru
• Помощь в избегании локальных минимумов. kartaslov.ru {6-host} Шум от каждого примера может помочь сети найти лучшие решения. kartaslov.ru

Недостатки:

• Нестабильность. kartaslov.ru Путь к минимизации может быть менее стабильным, так как каждый шаг зависит от одного примера и может приводить к колебаниям в процессе обучения. kartaslov.ru
• Необходимость настройки гиперпараметров. scikit-learn.ru {6-host} Например, параметра регуляризации и количества итераций. scikit-learn.ru
• Чувствительность к масштабированию признаков. scikit-learn.ru

Также у метода нет универсального набора эвристик, их нужно выбирать для конкретной задачи отдельно. neerc.ifmo.ru