Почему метод LoRA считается более экономным способом обучения нейросетей?

Метод LoRA (Low-Rank Adaptation) считается более экономным способом обучения нейросетей, потому что позволяет дообучать большие модели на данных для конкретных задач, настраивая только небольшое подмножество параметров модели. 12

Некоторые преимущества такого подхода:

• Снижение вычислительных затрат. 1 LoRA замораживает 99% весов модели и обучает только небольшое количество новых параметров, что требует меньше вычислительных ресурсов. 1
• Уменьшение времени на обучение. 1 Полученные адаптированные модели имеют меньший размер, что сокращает время на обучение. 1
• Снижение потребления памяти. 4 LoRA-модели занимают меньше места на диске, их проще хранить и распространять. 3

Однако у LoRA есть и ограничения: в определённых контекстах метод может требовать значительных ресурсов, например, для обучения высококачественных адаптеров или настройки гиперпараметров. 1