Как работает переводчик видео?

Переводчик видео работает на основе нейросетей и проходит несколько этапов: 12

1. Определение языка говорящего. 1 Если он говорит на поддерживаемом языке, то переводчик предложит перевести содержимое на другой язык. 1
2. Перевод речи в текст. 1 Создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. 1
3. Нормализация текста и расстановка знаков препинания. 1 Нейросеть получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. 1
4. Определение количества спикеров, их пола и применяемых местоимений. 1 Вычисляется тип голоса (мужской или женский) по частоте звучания. 1
5. Перевод текста на другой язык. 1
6. Синтезирование речи и синхронизация её с роликом. 1 Система делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. 1

Например, так работает функция перевода видео в Яндекс Браузере. 2 Она доступна на iOS, Android, Windows и macOS. 1