Как работают нейронные сети в процессе перевода видео?

Процесс перевода видео с помощью нейросетей можно разделить на три этапа: звук превращается в текст, текст переводится, из перевода синтезируется аудио. techno.yandex.ru

Первый этап — распознавание речи. techno.yandex.ru yandex.ru Модель превращает голос в текст. yandex.ru При этом речь в видеороликах немного отличается по длине, уровню шума и другим параметрам от данных, используемых для обучения обычных алгоритмов распознавания речи. techno.yandex.ru

Второй этап — перевод. techno.yandex.ru Полученный текст предварительно обрабатывается алгоритмом, который расставляет знаки препинания и разбивает текст на предложения. techno.yandex.ru Для обучения модели используются параллельные корпуса текста: алгоритмы находят в интернете аналогичные тексты на разных языках и сопоставляют их. techno.yandex.ru

Третий этап — озвучивание. techno.yandex.ru Оригинальная звуковая дорожка приглушается, новая с переводом накладывается поверх. techno.yandex.ru Мужские голоса переводятся мужским голосом, женские — женским. techno.yandex.ru

В озвучке видео может участвовать несколько нейросетей. www.iphones.ru education.yandex.ru Например, в Яндекс Браузере в этом процессе задействованы шесть нейросетей: www.iphones.ru education.yandex.ru

1. Первая определяет, есть ли на видео речь, чтобы в случае её отсутствия не запускать процесс просто так. education.yandex.ru
2. Вторая определяет язык. www.iphones.ru education.yandex.ru
3. Третья переводит речь в текст, нормализует его, расставляет знаки препинания, чтобы текст имел смысл и был целостным. education.yandex.ru
4. Четвёртая разбивает текст на спикеров, если их несколько — присваивает им конкретные голоса. education.yandex.ru
5. Пятая переводит текст с иностранного языка на русский и также приводит его в читабельный вид — со знаками препинания и смысловыми отрезками. education.yandex.ru
6. Шестая занимается синтезом речи и воспроизведением её на видео. education.yandex.ru

При этом, по задумке, должны быть сохранены все характеристики естественной речи: эмоциональность, интонации, паузы, правильные разбивки на фразы. news.itmo.ru