Какие основные преимущества и недостатки имеет метод Low-Rank Adaptation?

Некоторые преимущества метода Low-Rank Adaptation (LoRA):

• Экономия ресурсов. systems-analysis.ru Снижается количество обучаемых параметров (до 90% и более), что уменьшает потребление видеопамяти и ускоряет процесс обучения. systems-analysis.ru
• Отсутствие задержки при выводе. systems-analysis.ru Во время использования модели не добавляется никаких дополнительных вычислений или задержек. systems-analysis.ru
• Модульность и быстрая смена задач. systems-analysis.ru Обученные LoRA-адаптеры представляют собой небольшие файлы, что позволяет легко хранить десятки адаптеров для разных задач и быстро переключаться между ними, не меняя основную модель. systems-analysis.ru
• Защита от «катастрофического забывания». yandex.cloud Система обновляет только дополнительные матрицы, а не все свои параметры, что снижает требования к памяти. yandex.cloud

Некоторые недостатки LoRA:

• Возможная потеря точности. habr.com Когда меньшие матрицы перемножают, чтобы восстановить исходную, полученные значения не будут в точности совпадать с элементами оригинальной матрицы. habr.com
• Ограничения для задач, требующих запоминания большого объёма новой информации. systems-analysis.ru Низкоранговая природа LoRA может быть ограничением в таких случаях. systems-analysis.ru
• Сложность выбора. www.geeksforgeeks.org Решение, где применять матрицы с низким рангом внутри модели, требует тщательного рассмотрения и опыта. www.geeksforgeeks.org Неправильный выбор может привести к неоптимальной производительности. www.geeksforgeeks.org