Как устроена архитектура нейронной сети Midjourney?

Midjourney — это диффузионная нейронная сеть, которая состоит из двух нейросетей. incrussia.ru Первая отвечает за обработку и понимание текста, вторая — за генерацию изображения. incrussia.ru

Нейросеть обучают выстраивать соответствие между текстовыми описаниями и визуальными образами на сотнях миллионов примеров. incrussia.ru Результаты такого обучения позволяют решать различные кросс-модальные задачи — генерацию картинок по текстовому описанию, генерацию текстовых описаний по картинкам, дорисовку частей изображения и так далее. incrussia.ru

Midjourney — коммерческий продукт с закрытым кодом, и точные детали его архитектуры не раскрываются. habr.com