Нейросеть DALL-E создаёт изображения на основе текстовых описаний. 13 Для этого она использует тип машинного обучения — преобразователь, который понимает контекст и обрабатывает последовательности. 1 Модель постоянно обучается на новых данных. 1

DALL-E состоит из трёх нейросетей: 1

1. CLIP (Contrastive Language–Image Pre-training). 1 Эта нейросеть распознаёт текст и создаёт набросок будущего изображения. 1 Она переводит текстовый запрос в набор чисел, которые связаны векторами. 1 Векторы демонстрируют, насколько описанные пользователем категории близки между собой. 1
2. GLIDE. 1 Эта нейросеть преобразует текст в изображение. 1 Она сравнивает первоначальный набор чисел и таблицу CLIP, совмещая данные с них. 1 Затем создаёт финальное изображение через диффузную модель. 1 Сначала появляется серый квадрат, состоящий из пиксельного шума, а затем из него поэтапно убирается шум, пока не вырисовывается картинка с нужным содержимым. 1
3. Нейросеть для увеличения разрешения картинки. 1 Она масштабирует картинку и добавляет детали. 1

Например, если пользователь вводит текстовое описание «красное яблоко на дереве», то модель преобразует этот текст в числовой формат, который улавливает разные элементы — «красное», «яблоко» и «дерево», а также связи между ними. 3