Что такое модель LoRA в Stable Diffusion и как она может улучшить генерацию изображений?

LoRA (Low-Rank Adaptation) — это способ дообучения больших моделей, например Stable Diffusion XL, с минимальными затратами ресурсов. 5 Вместо того чтобы менять всю модель, обучают маленькие «адаптеры», которые внедряются в определённые слои нейросети. 5

Некоторые типы моделей LoRA и их особенности:

• LoRA на персонажа. 13 Модель обучена на конкретном персонаже, например, из мультфильма или видеоигры. 13 Такой тип LoRA способен точно воссоздать внешний вид персонажа и любые ключевые особенности, связанные с ним. 1
• LoRA на стиль. 4 Позволяет переносить определённый стиль на генерируемые изображения. 4 Например, можно сделать чайник в стиле стимпанка. 4 Также такие модели могут имитировать стиль художников, если LoRA была натренирована на их работах. 4
• LoRA на концепт. 4 Обычно представлены в виде различной одежды, телосложений, поз и прочих объектов, создавать которые нейросеть не умеет или плохо с этим справляется. 4
• LoRA для позы. 1 Подходит для создания динамичных сцен, где можно создавать определённые позы и действия. 1
• LoRA для одежды. 1 Предназначен для смены одежды и аксессуаров на персонаже. 1

Модели LoRA могут улучшить генерацию изображений, так как они включают дополнительные функции, которые отсутствуют в базовых моделях. 2 Например, это может быть изменение освещения, длины волос, детализации и прочее. 2 Также LoRA могут исправлять ошибки, которые допускают нейросети, например, генерацию слишком большого количества пальцев. 2