Чем отличается VAE от обычного Stable Diffusion в генеративных моделях?

VAE (вариационный автоэнкодер) и обычный Stable Diffusion отличаются в генеративных моделях. 13

VAE используется для улучшения качества изображений, генерируемых с помощью модели Stable Diffusion. 1 Он кодирует изображение в латентное пространство, а затем декодирует это пространство в новое, более качественное изображение. 1

Обычный Stable Diffusion — это модель, которая использует глубокое обучение и методы диффузии для генерации реалистичных изображений на основе текстовых входных данных. 1

Таким образом, основное отличие в том, что VAE улучшает качество генерируемых изображений, а обычный Stable Diffusion — это сама модель генерации изображений на основе текста.

Ещё есть модель Stable Diffusion VAE, которая сочетает в себе преимущества VAE и диффузионных моделей. 5 В ней стандартный декодер VAE заменён на диффузионный процесс в обратном времени, что влияет на стабильность модели и качество генерируемых образцов. 5