Некоторые отличия диффузионных моделей генерации изображений от других нейросетей:
- Принцип работы. 1 Диффузионные модели «шаг за шагом» улучшают изображение, а не пытаются сразу создать идеальную картинку из ничего. 1 Это делает результат более качественным и детализированным по сравнению с другими методами. 1
- Вариативность сгенерированных изображений. 3 Диффузионные модели обладают достаточной вариативностью сгенерированных изображений и достаточно стабильны. 3
- Скорость обучения и генерации. 3 Для обучения диффузионной модели необходимы десятки или даже сотни видеокарт, а генерация изображения при помощи уже обученной модели занимает несколько секунд. 3 В отличие от, например, генеративно-состязательных сетей (GAN), где счёт идёт на десятки миллисекунд. 3
- Условная и безусловная генерация. 5 При условной генерации модели предоставляется дополнительная информация с помощью текста или меток классов. 5 При безусловной генерации процесс не контролируется и не управляется, и модель может генерировать изображение любого характера. 5
Примеры диффузионных моделей: DALL·E, Midjourney, Stable Diffusion, Flux. 2