Какие стратегии оптимизации скорости обучения существуют в машинном обучении?

Некоторые стратегии оптимизации скорости обучения в машинном обучении:

• Метод адаптивной скорости обучения. vk.com Скорость обучения не является фиксированной, она вычисляется с использованием всех исторических градиентов, накопленных до последней итерации. vk.com
• Метод множителей переменного направления (ADMM). vk.com Является альтернативой стохастическому градиентному спуску (SGD). vk.com
• Плавное затухание. habr.com
• Экспоненциальное затухание. habr.com
• Дискретное сокращение. habr.com После заданного количества итераций шаг уменьшается с определённым размером. habr.com

Настройка скорости обучения (learning rate) — важный аспект оптимизации. cyberleninka.ru Слишком высокая скорость обучения может привести к переобучению, а слишком низкая — к недообучению. cyberleninka.ru Настройка скорости обучения требует экспериментирования и может зависеть от конкретной задачи и модели. cyberleninka.ru