Технология автоматического обнаружения и замены лиц в видео основана на использовании искусственного интеллекта и методов глубокого обучения. 1

Процесс обычно включает три основных этапа: 1

1. Обнаружение. 1 Алгоритмы глубокого обучения, например свёрточные нейронные сети (CNN), точно идентифицируют ориентиры лица и отделяют его от фона. 1
2. Выравнивание. 1 После обнаружения лиц инструмент выравнивает их, оценивая позы и сопоставляя ориентиры. 1 Это гарантирует, что лица будут правильно расположены и ориентированы перед заменой. 1
3. Смешивание. 1 Генеративно-состязательные сети (GAN) создают реалистичное выходное изображение. 1 Сеть генератора создаёт синтетическое лицо, которое очень похоже на целевое лицо, а сеть дискриминатора оценивает качество сгенерированного лица и предоставляет обратную связь генератору. 1

На качество результата влияет множество свойств исходных файлов и входных данных, в том числе разрешение и длительность видеофайлов, разнообразность мимики персонажей, относительная схожесть лиц, освещение в роликах и другие. 2

Некоторые программы, использующие эту технологию: DeepFaceLab, Avatarify, Face App и другие. 34