Каковы основные преимущества использования LoRA по сравнению с традиционным fine-tuning?

Некоторые преимущества использования LoRA (Low-Rank Adaptation) по сравнению с традиционным fine-tuning:

• Экономия памяти. dzen.ru LoRA требует в 10–100 раз меньше памяти, чем полный fine-tuning. dzen.ru Модель не дублируется, а просто получает корректировки. dzen.ru
• Скорость обучения. dzen.ru LoRA в 3–5 раз быстрее, чем полный fine-tuning. dzen.ru Не нужно хранить градиенты всех параметров модели. dzen.ru
• Уменьшенные вычислительные затраты. dzen.ru Можно обучать даже на потребительских GPU (8–16GB VRAM). dzen.ru
• Универсальность. dzen.ru LoRA совместим с различными LLM (Llama, GPT, Falcon, T5). dzen.ru
• Отсутствие катастрофического забывания. dzen.ru Базовая модель не изменяется — сохраняет старые знания. dzen.ru
• Компактный вывод. www.hyperstack.cloud Веса обученной модели LoRA хранятся в файле размером обычно менее 10 МБ, в отличие от многогигабайтных чекпоинтов традиционного fine-tuning. www.hyperstack.cloud