Как работает технология генерации изображений DALL-E?

Технология генерации изображений DALL-E работает с помощью нейронной сети на основе преобразователя. 1 Это тип машинного обучения, который понимает контекст и обрабатывает последовательности, чтобы создавать новые изображения по текстовым подсказкам. 1

DALL-E состоит из трёх нейросетей: 1

1. CLIP (Contrastive Language–Image Pre-training). 1 Эта нейросеть распознаёт текст и создаёт набросок будущего изображения. 1 Она переводит текстовый запрос в набор чисел, которые связаны векторами. 1 Векторы демонстрируют, насколько описанные пользователем категории близки между собой. 1
2. GLIDE. 1 Эта нейросеть преобразует текст в изображение. 1 Она сравнивает первоначальный набор чисел и таблицу CLIP, совмещая данные с них. 1 Затем создаёт финальное изображение через диффузную модель. 1 Сначала появляется серый квадрат, состоящий из пиксельного шума, а затем из него поэтапно убирается шум, пока не вырисовывается картинка с нужным содержимым. 1
3. Нейросеть для увеличения разрешения картинки. 1 Она масштабирует картинку и добавляет детали. 1

В обучении DALL-E использовался обширный набор данных, состоящий из пар текста и изображений, извлечённых из Интернета. 5 Это позволило нейросети научиться связывать конкретные текстовые описания с соответствующими визуальными представлениями. 5