Диффузионные модели применяются в компьютерном зрении для генерации и восстановления изображений. 1

Процесс состоит из двух этапов: 1

1. Прямой. 1 К данным поэтапно добавляют шум, пока они не превращаются в случайный шум. 1
2. Обратный. 1 Исходные данные восстанавливают из шума с помощью обученной модели. 1

Некоторые области применения диффузионных моделей в компьютерном зрении:

• Восстановление изображений. 1 Модели эффективно восстанавливают как текстуры, так и мелкие детали, которые могли быть утрачены при искажении. 1 Это делает их полезными, например, в медицинской визуализации или в задачах восстановления старых фотографий. 1
• Создание изображений. 2 Диффузионные модели позволяют решать такие задачи, как шумоподавление изображения, закрашивание, сверхвысокое разрешение и создание изображений. 2

С 2023 года диффузионные модели приобрели улучшенные алгоритмы генерации изображений, которые позволяют создавать качественные и реалистичные изображения на основе текстового описания. 3