В чем основные различия между диффузионными моделями и другими типами генеративных нейросетей?

Некоторые различия между диффузионными моделями и другими типами генеративных нейросетей:

• Принцип работы: диффузионные модели итеративно преобразуют данные из шума в узнаваемую форму. 2 Они начинают со случайного шума и постепенно убирают из него всё лишнее, пока не получится заданное изображение. 4 Другие типы генеративных нейросетей, например генеративно-состязательные сети (GAN), состоят из двух нейросетей: одна генерирует картинки, другая оценивает их. 4
• Скорость обучения и генерации: диффузионные модели требуют больше времени, чем другие типы нейросетей. 15 Для обучения диффузионной модели необходимы десятки или даже сотни видеокарт, а генерация изображения при помощи уже обученной модели занимает несколько секунд. 1 В то время как генеративно-состязательные сети работают за десятки миллисекунд. 1
• Стабильность обучения: из-за итеративного характера процесса распространения процесс обучения и генерации диффузионных моделей, как правило, более стабилен, чем у GAN. 3
• Количество моделей для обучения: в отличие от GAN, где для обучения требуются две модели, в диффузионных моделях нужна только одна. 3
• Размер изображения: в диффузионных моделях размер изображения остаётся неизменным на протяжении всего процесса, в отличие от GAN, где скрытый тензор может иметь разные размеры. 3