В чем особенности архитектуры модели Kandinsky для генерации изображений?

Некоторые особенности архитектуры модели Kandinsky для генерации изображений:

• Использование диффузионной модели. kokoc.com courses.sberuniversity.ru Нейросеть сначала добавляет шумы на изображения, на которых была обучена, а затем восстанавливает их с помощью процесса обратной диффузии, создавая новое уникальное изображение. kokoc.com
• Поддержка запросов на разных языках. ru.wikipedia.org kokoc.com Например, Kandinsky 2.0 понимает запросы на 101 языке. ru.wikipedia.org
• Использование модифицированной архитектуры Latent Diffusion. ru.wikipedia.org Она предполагает генерацию латентных векторов изображений и работу с ними. ru.wikipedia.org
• Использование двух текстовых энкодеров. ai.sber.ru В Kandinsky 2.0 это mT5 Small и XMLR-clip. ai.sber.ru
• Оптимизированная архитектура U-Net. yatalks.yandex.ru В Kandinsky 3.0 используется прокачанная версия U-Net, у которой расположение блоков отличается от того, что применялось в первой версии. yatalks.yandex.ru
• Создание изображений в три этапа. ru.wikipedia.org courses.sberuniversity.ru Сначала Kandinsky генерирует несколько изображений, затем другая модель выбирает самые удачные, а после ещё одна модель увеличивает разрешение результата. courses.sberuniversity.ru