Вопросы к Поиску с Алисой
Возможно, имелся в виду алгоритм LARS (Layer-wise Adaptive Rate Scaling) в контексте машинного и глубокого обучения. habr.com
Основная идея LARS заключается в подборе скорости обучения не для каждого нейрона или всей нейросети, а для каждого слоя отдельно. habr.com
Алгоритм LARS позволяет использовать батчи большого размера для обучения без потери качества. habr.com Он обеспечивает лучший контроль за процессом оптимизации и не даёт сети застрять в неоптимальных решениях. serp.ai
Кроме того, LARS контролирует величину обновления с учётом нормы весов, что помогает лучше контролировать скорость обучения. serp.ai