LoRA (Low-Rank Adaptation) в Stable Diffusion позволяет быстро настраивать модель для новых задач без необходимости долгого и сложного переобучения. 2

Принцип работы: вместо того, чтобы обучать все параметры модели, LoRA вводит обучаемые матрицы разложения ранга в каждый слой архитектуры модели, при этом сохраняя замороженными веса предварительно обученной модели. 1 Это значительно уменьшает количество обучаемых параметров для последующих задач, что приводит к существенному снижению требований к памяти GPU и общих затрат. 1

Процесс обучения LoRA включает несколько шагов: 2

1. Подготовка данных. 2 Собирают разнообразные фотографии и пишут соответствующие текстовые описания, создавая своеобразную картину мира для LoRA. 2
2. Обучение LoRA. 2 Искусственный интеллект начинает адаптироваться к новым запросам, улучшая способность связывать текст и изображения. 2
3. Оценка результатов. 2 Запускают Stable Diffusion, подключают новую LoRA и отправляют запросы, проверяя, насколько точно и быстро он может создавать соответствующие изображения. 2
4. Использование на практике. 2 Успешно обученный LoRA становится подключаемым модулем для Stable Diffusion, позволяя быстро адаптироваться к новым запросам. 2

Некоторые типы моделей LoRA:

• Персонаж LoRa. 34 Модель, обученная на конкретном персонаже, например, персонаже мультфильма или видеоигры. 34
• Стиль LoRa. 34 Модель фокусируется на художественном стиле. 34
• Концепция LoRa. 34 Модель обучена определённой концепции или идее. 34
• Поза LoRa. 34 Модель фокусируется на позе указанного персонажа, а не на его стиле или особенностях. 3