Что такое скорость обучения в нейронных сетях?

Скорость обучения в нейронных сетях — это гиперпараметр, который определяет, насколько сильно изменять модель в ответ на предполагаемую ошибку каждый раз, когда обновляются веса модели. 5 Он определяет размер шагов, предпринимаемых для достижения минимума функции потерь в процессе оптимизации. 5

Скорость обучения определяет, насколько быстро модель адаптируется к проблеме. 3 Меньшие скорости обучения требуют большего количества эпох обучения, учитывая меньшие изменения, вносимые в веса при каждом обновлении, тогда как более высокие скорости обучения приводят к быстрым изменениям и требуют меньшего количества эпох обучения. 3

Слишком большая скорость обучения может привести к слишком быстрой сходимости модели к неоптимальному решению, тогда как слишком маленькая скорость обучения может привести к зависанию процесса. 3