Как устроена архитектура диффузионных моделей, используемых в современных нейросетевых генераторах?

Диффузионные модели — подкатегория глубоких генеративных моделей, которые состоят из этапов прямой и обратной диффузии. cyberleninka.ru Они генерируют данные, аналогичные тем, на которых обучаются. cyberleninka.ru

Процесс работы диффузионной модели: naked-science.ru

1. Прямая диффузия (Forward Diffusion). cyberleninka.ru scispace.com К обучающим данным поэтапно добавляют гауссовский шум и стирают детали, пока данные не будут преобразованы в чистый шум. cyberleninka.ru scispace.com
2. Параметризованный реверс. cyberleninka.ru scispace.com Нейронная сеть обучают обращать процесс искажения вспять, то есть восстанавливать исходное изображение. cyberleninka.ru Для этого синтезируют чистый шум путём постепенного снижения шума до тех пор, пока не будет получен чистый образец. cyberleninka.ru

Нейросеть учится этим преобразованиям на тренировочных данных, в которых есть пример оригинального изображения и его зашумленных версий. naked-science.ru

Существуют разные архитектуры диффузионных нейронных систем, которые могут использоваться для генерации изображений на основании текстовых запросов или для преобразования существующих изображений. cyberleninka.ru

Например, модель Stable Diffusion состоит из автоэнкодера, блока U-Net и декодера: scispace.com

• Автоэнкодер редуцирует данные в латентное пространство до меньшего размера. scispace.com
• Блок U-Net получает зашумленный образец в латентном пространстве, сжимает его и декодирует обратно с меньшим уровнем шума. scispace.com