Некоторые особенности архитектуры модели Kandinsky для генерации изображений:

• Использование диффузионной модели. 45 Нейросеть сначала добавляет шумы на изображения, на которых была обучена, а затем восстанавливает их с помощью процесса обратной диффузии, создавая новое уникальное изображение. 4
• Поддержка запросов на разных языках. 24 Например, Kandinsky 2.0 понимает запросы на 101 языке. 2
• Использование модифицированной архитектуры Latent Diffusion. 2 Она предполагает генерацию латентных векторов изображений и работу с ними. 2
• Использование двух текстовых энкодеров. 1 В Kandinsky 2.0 это mT5 Small и XMLR-clip. 1
• Оптимизированная архитектура U-Net. 3 В Kandinsky 3.0 используется прокачанная версия U-Net, у которой расположение блоков отличается от того, что применялось в первой версии. 3
• Создание изображений в три этапа. 25 Сначала Kandinsky генерирует несколько изображений, затем другая модель выбирает самые удачные, а после ещё одна модель увеличивает разрешение результата. 5