Что такое метод момента в машинном обучении?

Метод момента (momentum) в машинном обучении — это механизм, который добавляет инерцию в процесс обновления весов. vc.ru

Принцип работы: вместо того чтобы на каждом шаге двигаться только в направлении текущего градиента, алгоритм «помнит» предыдущие шаги и использует накопленную скорость. arenda-server.cloud

Преимущества метода:

• ускоряет сходимость в направлениях с постоянным градиентом; arenda-server.cloud
• снижает колебания в направлениях с высокой кривизной; arenda-server.cloud
• помогает преодолевать локальные минимумы. arenda-server.cloud

Идея момента (momentum) стала прототипом для других адаптивных методов, например RMSProp и Adam. vc.ru