Нейросеть Stable Diffusion работает по принципу скрытой диффузии. 23 Она не тратит время на ухудшение исходного изображения «шумами» и работу с пикселями для обратного воссоздания. 2 Она сразу работает со сжатыми версиями изображений, использует ассоциативные данные о расположении пикселей для распознавания и на основе этих данных приступает к генерации нового изображения. 2

Stable Diffusion включает в себя несколько моделей: 4

1. Кодировщик текста. 4 Это специальная языковая модель-трансформер, которая получает на входе текст и переводит его в набор чисел, которые описывают каждое слово. 4
2. Генератор изображений. 4 Он включает нейросеть UNet и алгоритм планирования и создаёт информацию об изображении. 4
3. Декодер. 4 Он рисует картину на основе полученной информации. 4