Как работает механизм генерации изображений нейросетью YandexART?

Механизм генерации изображений нейросетью YandexART работает методом каскадной диффузии. yandex.ru Сначала нейросеть генерирует картинки в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. yandex.ru

Процесс включает два этапа: habr.com

1. Генерация картинки 64×64 пикселя на основе промта (запроса). habr.com Для этого применяется модель GEN64, которая следует архитектуре U‑Net и обуславливается на текстовый ввод через механизм Cross‑Attention. habr.com
2. Увеличение картинки до разрешения 256×256 с помощью модели SR256. habr.com При увеличении учитывается текст от пользователя — можно на его основе дорисовать детали, что‑то улучшить, исправить ошибки первой генерации. habr.com

Для обучения нейросети использовали 330 миллионов картинок, поэтому она способна различать культурные контексты и другие нюансы. practicum.yandex.ru