Как работает генеративная нейросеть DALL-E для создания изображений?

Нейросеть DALL-E создаёт изображения на основе текстовых описаний. trends.rbc.ru vc.ru Для этого она использует тип машинного обучения — преобразователь, который понимает контекст и обрабатывает последовательности. trends.rbc.ru Модель постоянно обучается на новых данных. trends.rbc.ru

DALL-E состоит из трёх нейросетей: trends.rbc.ru

1. CLIP (Contrastive Language–Image Pre-training). trends.rbc.ru Эта нейросеть распознаёт текст и создаёт набросок будущего изображения. trends.rbc.ru Она переводит текстовый запрос в набор чисел, которые связаны векторами. trends.rbc.ru Векторы демонстрируют, насколько описанные пользователем категории близки между собой. trends.rbc.ru
2. GLIDE. trends.rbc.ru Эта нейросеть преобразует текст в изображение. trends.rbc.ru Она сравнивает первоначальный набор чисел и таблицу CLIP, совмещая данные с них. trends.rbc.ru Затем создаёт финальное изображение через диффузную модель. trends.rbc.ru Сначала появляется серый квадрат, состоящий из пиксельного шума, а затем из него поэтапно убирается шум, пока не вырисовывается картинка с нужным содержимым. trends.rbc.ru
3. Нейросеть для увеличения разрешения картинки. trends.rbc.ru Она масштабирует картинку и добавляет детали. trends.rbc.ru

Например, если пользователь вводит текстовое описание «красное яблоко на дереве», то модель преобразует этот текст в числовой формат, который улавливает разные элементы — «красное», «яблоко» и «дерево», а также связи между ними. vc.ru