Диффузионные модели — подкатегория глубоких генеративных моделей, которые состоят из этапов прямой и обратной диффузии. 3 Они генерируют данные, аналогичные тем, на которых обучаются. 3

Процесс работы диффузионной модели: 1

1. Прямая диффузия (Forward Diffusion). 34 К обучающим данным поэтапно добавляют гауссовский шум и стирают детали, пока данные не будут преобразованы в чистый шум. 34
2. Параметризованный реверс. 34 Нейронная сеть обучают обращать процесс искажения вспять, то есть восстанавливать исходное изображение. 3 Для этого синтезируют чистый шум путём постепенного снижения шума до тех пор, пока не будет получен чистый образец. 3

Нейросеть учится этим преобразованиям на тренировочных данных, в которых есть пример оригинального изображения и его зашумленных версий. 1

Существуют разные архитектуры диффузионных нейронных систем, которые могут использоваться для генерации изображений на основании текстовых запросов или для преобразования существующих изображений. 3

Например, модель Stable Diffusion состоит из автоэнкодера, блока U-Net и декодера: 4

• Автоэнкодер редуцирует данные в латентное пространство до меньшего размера. 4
• Блок U-Net получает зашумленный образец в латентном пространстве, сжимает его и декодирует обратно с меньшим уровнем шума. 4