В чем заключается особенность адаптеров LoRA в машинном обучении?

Особенность адаптеров LoRA (Low-Rank Adaptation) в машинном обучении заключается в том, что они позволяют адаптировать большие предварительно обученные модели к конкретным задачам или наборам данных без переобучения всей модели. 13

Некоторые преимущества такого подхода:

• Снижение вычислительных затрат. 1 По сравнению с полной тонкой настройкой требуется меньше памяти и вычислительной мощности, что позволяет адаптировать большие модели на менее мощном оборудовании. 1
• Меньше места для хранения. 1 Поскольку исходные веса модели заморожены, для каждой конкретной задачи нужно сохранять только небольшие адаптеры LoRA. 1
• Более быстрое переключение между задачами. 1 Загрузка разных адаптеров LoRA позволяет быстро переключаться между задачами без загрузки совершенно новых больших моделей. 1
• Сравнимая производительность. 1 Несмотря на обучение гораздо меньшего количества параметров, LoRA часто достигает уровня точности, схожего с тем, который достигается при полной тонкой настройке на конкретных задачах. 1
• Обеспечение возможности пограничного развёртывания. 1 Снижение требований к ресурсам облегчает адаптацию моделей для сценариев пограничных вычислений, где вычислительная мощность и память ограничены. 1