В чем преимущества и недостатки различных методов стохастического градиентного спуска?

Преимущества стохастического градиентного спуска:

• Эффективность и скорость сходимости. 6 Обучение происходит быстрее, так как модель обновляет веса после каждого примера. 1
• Помощь в избегании локальных минимумов. 16 Шум от каждого примера может помочь сети найти лучшие решения. 1

Недостатки:

• Нестабильность. 1 Путь к минимизации может быть менее стабильным, так как каждый шаг зависит от одного примера и может приводить к колебаниям в процессе обучения. 1
• Необходимость настройки гиперпараметров. 46 Например, параметра регуляризации и количества итераций. 4
• Чувствительность к масштабированию признаков. 4

Также у метода нет универсального набора эвристик, их нужно выбирать для конкретной задачи отдельно. 2