В чём отличие генеративно-состязательных сетей (GAN) от автоэнкодеров при создании deepfake-контента?

Отличие генеративно-состязательных сетей (GAN) от автоэнкодеров при создании deepfake-контента заключается в разных подходах к генерации изображений. skillbox.ru habr.com

Генеративно-состязательные сети (GAN) работают по принципу соревнования между двумя нейросетями. skillbox.ru Одна из них (генератор) создаёт изображения, а вторая (дискриминатор) пытается определить, настоящее это изображение или поддельное. skillbox.ru habr.com В процессе такого «соревнования» генератор постепенно учится создавать всё более реалистичные изображения, которые сложнее отличить от настоящих. skillbox.ru

Автоэнкодеры сначала «сжимают» изображение до набора ключевых характеристик (кодируют его), а затем восстанавливают из этих характеристик (декодируют). skillbox.ru При создании deepfake используется два автоэнкодера: один обучается на изображениях исходного лица, другой — на изображениях целевого лица. skillbox.ru Затем кодированные характеристики одного лица комбинируются с декодером другого, что позволяет «наложить» одно лицо на другое. skillbox.ru

Таким образом, GAN фокусируются на генерации изображений «с нуля», а автоэнкодеры — на замене лиц в уже существующих видео. habr.com