Какие технологии машинного обучения используются для создания приложений по замене лиц в видео?

Для создания приложений по замене лиц в видео используются различные технологии машинного обучения, например:

• Autoencoder и decoder. vc.ru Метод перемещения лица, в основе которого — кодировщик и декодировщик. vc.ru На двух видео (донорском и целевом) размечают границы лица. vc.ru С помощью нарезки кадров видео превращаются в набор фотографий, по которым будет обучаться модель. vc.ru Кодировщик сжимает изображения, а потом они восстанавливаются до оригинального изображения инструментом декодирования. vc.ru Две нейросети обучаются кодировать и декодировать изображения так, чтобы после восстановления они были максимально похожими на оригинал. vc.ru
• Face Swap GAN. vc.ru Подход с использованием нескольких генеративно-состязательных сетей. vc.ru Каждая сеть отвечает за свою операцию, что сводит к минимуму количество этапов с применением ручного труда. vc.ru Например, в решении FSGAN одна нейросеть учится подгонять лицо донора под параметры целевого видео (поворот головы, наклон вбок или вперёд), вторая переносит черты лица, а третья делает image blending (слияние изображений), чтобы картинка была более реалистичной, без разрывов или артефактов. vc.ru
• Deepfake. rdc.grfc.ru wotpack.ru В основе метода лежат генеративно-состязательные нейросети (GAN). rdc.grfc.ru При использовании этого метода работают две нейросети: первая генерирует изображения, а вторая отвечает за поиск отличий между ними и настоящими образцами. rdc.grfc.ru