Как работает технология закадрового перевода видео?

Технология закадрового перевода видео, например, разработанная Яндексом, работает в несколько этапов: yandex.ru trashbox.ru

1. Распознавание и переработка речи. trashbox.ru Если в ролике нет субтитров, то речь превращают в текст. yandex.ru Если субтитры есть, то смотрят на их происхождение. yandex.ru Загруженные вручную субтитры хорошего качества берут в работу, автоматически сгенерированные — игнорируют и выполняют собственное распознавание. yandex.ru
2. Обработка текста нейронной сетью. yandex.ru Она убирает мусор, например вставки вроде «звучит музыка», которые могут встретиться в субтитрах, расставляет знаки препинания и распределяет слова по смысловым сегментам. yandex.ru Результат отправляется на перевод. yandex.ru
3. Определение пола говорящего. trashbox.ru От этого зависит не только выбор голоса, но и текст перевода. yandex.ru Мужчина будет говорить о себе в мужском роде, женщина — в женском. yandex.ru
4. Синтез речи с учётом разницы языков. trashbox.ru Переведённая речь в среднем на 10–30% длиннее, чем английская. trashbox.ru Из-за этого может быть ощутимый рассинхрон между происходящим на экране и озвучкой. trashbox.ru Нейронная сеть сокращает ненужные паузы между фразами и словами, а уже затем, если этого окажется недостаточно, ускоряет русскую озвучку. trashbox.ru
5. Совмещение озвучки с видеорядом. infostart.ru Алгоритм приглушает оригинальную звуковую дорожку так, чтобы она была слышна, но не мешала восприятию, и накладывает на неё новую, с переводом. yandex.ru

Технология закадрового перевода видео — технически сложная и довольно ресурсоёмкая задача, поэтому процесс занимает некоторое время, обычно пару минут. yandex.ru