Как работают технологии создания дипфейков?

Технологии создания дипфейков работают на основе генеративно-состязательных сетей (GAN). www.forbes.ru blog.eldorado.ru Они состоят из двух частей: генератора и дискриминатора. www.forbes.ru

Генератор обрабатывает тысячи снимков объекта и на их основе создаёт изображения. blog.eldorado.ru Дискриминатор пытается определить, насколько получившаяся картинка похожа на реальный объект. blog.eldorado.ru В итоге они как бы играют друг с другом: генератор пытается обмануть дискриминатора, а дискриминатор — вычислить фальшивку. blog.eldorado.ru Обе сети в процессе совершенствуются, в конечном итоге создавая максимально реалистичное изображение. blog.eldorado.ru

Для создания голосовых дипфейков используются автокодировщики — определённый тип нейронных сетей. www.kaspersky.ru На вход модели подаются две аудиозаписи, при этом голос со второй записи переносится на первую. www.kaspersky.ru В результате сказанное в первой записи озвучивается голосом человека из второй записи. www.kaspersky.ru

Чтобы создать убедительный дипфейк, требуются большие объёмы видео, статические изображения, голосовые записи, а иногда даже сканирование головы реального актёра с последующим анализом в качестве обучающих вводных данных. habr.com