Как работают современные алгоритмы генеративно-состязательных сетей для создания стилизованных изображений?

Генеративно-состязательные сети (GANs) состоят из двух частей: генератора и дискриминатора. vk.com Генератор создаёт изображения, а дискриминатор пытается отличить реальные изображения от тех, что созданы генератором. vk.com

Процесс обучения: vk.com

1. Генератор начинает с случайного шума и пытается создать изображения, которые выглядят как настоящие. vk.com
2. Дискриминатор получает как реальные изображения, так и изображения от генератора и учится различать их. vk.com
3. Состязание. vk.com Генератор стремится улучшить свои изображения, чтобы обмануть дискриминатор, а дискриминатор улучшает свои способности различать фальшивые и настоящие изображения. vk.com
4. Цель. vk.com В идеале, после многих итераций, генератор становится настолько хорош, что дискриминатор не может отличить созданные изображения от реальных. vk.com

Один из примеров генеративно-состязательной сети — StyleGAN. www.geeksforgeeks.org Эта модель создаёт высокореалистичные изображения, управляя их характеристиками на нескольких уровнях, от общей структуры до мелких деталей, таких как текстура и освещение. www.geeksforgeeks.org

Некоторые особенности работы StyleGAN:

• Постепенный рост изображений. www.geeksforgeeks.org Модель начинает с изображений с очень низким разрешением и постепенно увеличивает их до высокого разрешения. www.geeksforgeeks.org
• Постоянный вход и нагнетание шума. www.geeksforgeeks.org В отличие от традиционных GAN, которые вводят случайный шум непосредственно в генератор, StyleGAN использует в качестве входных данных заученный постоянный тензор. www.geeksforgeeks.org
• Регуляризация смешивания. www.geeksforgeeks.org Чтобы стимулировать разнообразие и не допустить чрезмерной зависимости сети от единого вектора стиля, StyleGAN использует регуляризацию смешивания во время обучения. www.geeksforgeeks.org