Как работает технология Stable Diffusion для создания изображений?

Stable Diffusion — нейросеть, которая генерирует изображения по текстовому запросу. help.reg.ru В основе её работы лежит техника латентной диффузии: система находит знакомые формы среди большого пула изображений, а затем фокусируется на них при совпадении с запросом. help.reg.ru

Процесс работы: www.unisender.com

1. Обучение. help.reg.ru Нейросеть запоминает картинку при обучении, фиксирует происходящее на ней через простой код — как мозаику из множества мелких кусочков (это называется латентное пространство). www.unisender.com
2. Диффузия. www.unisender.com Stable Diffusion добавляет к изображению шум, делая его всё более расплывчатым, пока оно не превратится практически в случайный набор пикселей. www.unisender.com Так ИИ анализирует структуру изображения. www.unisender.com
3. Восстановление картинки. www.unisender.com Благодаря обучению на огромном количестве примеров, модель может из «шума» восстановить картинку. www.unisender.com
4. Генерация нового изображения. www.unisender.com Генерируя новое изображение с нуля, нейросеть постепенно добавляет к нему детали и «отматывает» шум в обратном направлении (это обратная диффузия). www.unisender.com

Исходными данными для генерации картинки является текстовый промпт — запрос, который описывает словами желаемое содержание и стиль изображения. media.contented.ru Он может состоять из разных элементов, таких как объекты, атрибуты, отрицания и т. д.. media.contented.ru