В чем разница между диффузионными и авторегрессионными генеративными моделями?

Разница между диффузионными и авторегрессионными генеративными моделями заключается в способе создания данных. habr.com dzen.ru

Диффузионные модели работают с шумом. dzen.ru Сначала они добавляют случайный шум к изображению, а затем учатся постепенно его удалять — восстанавливая картинку шаг за шагом. dzen.ru Это даёт высокую детализацию и возможность управлять процессом генерации. dzen.ru Примеры: Stable Diffusion, Imagen, Midjourney. dzen.ru

Авторегрессионные модели создают данные поэтапно — один элемент за другим. dzen.ru Следующее слово в тексте зависит от предыдущих, следующий пиксель — от соседних, следующий звук — от уже произнесённого. dzen.ru Это позволяет строить логичные и согласованные последовательности. dzen.ru Примеры: PixelCNN, WaveNet, GPT. dzen.ru

Некоторые другие различия:

• Скорость генерации: диффузионные модели быстрее создают изображения, так как в них весь объект генерируется сразу за несколько шагов. habr.com В авторегрессионных, напротив, каждый элемент или токен создаётся последовательно, поэтому при создании больших изображений требуется многократно обращаться к модели, что увеличивает время работы. habr.com
• Контроль над процессом: в диффузионных моделях проще управлять генерацией: можно задавать условия, определяющие, каким должен быть результат, более точно контролируя процесс создания изображений. habr.com В авторегрессионных моделях, если требуется изменить лишь отдельный фрагмент картинки, модель всё равно создаёт её целиком, из-за чего нужные части могут потеряться. habr.com
• Языковые знания: диффузионные модели имеют ограниченное понимание человеческого языка. habr.com Авторегрессионные модели, например ChatGPT-4o, включают языковые знания и могут оперировать ими при генерации изображений. habr.com

Выбор между диффузионными и авторегрессионными моделями зависит от конкретной задачи и желаемого результата. atalupadhyay.wordpress.com