Как работает метод генерации изображений Stable Diffusion?

Метод генерации изображений в Stable Diffusion называется «скрытая диффузия». vc.ru journal.tinkoff.ru

Принцип работы: пользователь вводит текстовое описание (промпт) желаемой картинки. vc.ru Нейросеть обучалась на базе данных, где каждое изображение связано с описанием. journal.tinkoff.ru После этого она изучила ассоциации о том, где пиксели должны находиться по отношению друг к другу. journal.tinkoff.ru Начиная с беспорядочного набора пикселей, похожего на «шум», система постепенно создаёт чёткую картинку. vc.ru

Для ускорения процесса генерации изображений Stable Diffusion выполняет процесс диффузии не с самими пиксельными изображениями, а со сжатой версией изображения. habr.com Это сжатие и последующая распаковка/рисование выполняется при помощи автокодировщика. habr.com

Также в Stable Diffusion есть функция обратной диффузии: нейросеть берёт исходное изображение, на котором обучалась, добавляет к нему «шумы» до полной неузнаваемости изображения, а затем путём подавления шума пытается воссоздать изображение, отдалённо похожее на исходное. hi-tech.mail.ru