Некоторые особенности метода каскадной диффузии, используемого в генеративных нейросетях:
- Итеративное восстановление изображения из шума. 12 Сначала нейросеть представляет объект в виде шума, а затем постепенно восстанавливает по кусочкам полноценную картинку. 1
- Конвейер из нескольких диффузионных моделей. 3 Они генерируют изображения с увеличивающимся разрешением. 3 Начинается процесс со стандартной диффузионной модели с наименьшим разрешением, а затем следуют одна или несколько диффузионных моделей со сверхразрешением, которые последовательно повышают дискретизацию изображения и добавляют детали с более высоким разрешением. 3
- Использование текстового описания. 24 Кроме текстового описания, для генерации необходимо указать специальный параметр — «зерно генерации» (seed). 2 Оно служит начальной точкой для генерации изображения из шума и позволяет повторять результат. 2