Процесс перевода видео с помощью нейросетей можно разделить на три этапа: звук превращается в текст, текст переводится, из перевода синтезируется аудио. 1

Первый этап — распознавание речи. 15 Модель превращает голос в текст. 5 При этом речь в видеороликах немного отличается по длине, уровню шума и другим параметрам от данных, используемых для обучения обычных алгоритмов распознавания речи. 1

Второй этап — перевод. 1 Полученный текст предварительно обрабатывается алгоритмом, который расставляет знаки препинания и разбивает текст на предложения. 1 Для обучения модели используются параллельные корпуса текста: алгоритмы находят в интернете аналогичные тексты на разных языках и сопоставляют их. 1

Третий этап — озвучивание. 1 Оригинальная звуковая дорожка приглушается, новая с переводом накладывается поверх. 1 Мужские голоса переводятся мужским голосом, женские — женским. 1

В озвучке видео может участвовать несколько нейросетей. 23 Например, в Яндекс Браузере в этом процессе задействованы шесть нейросетей: 23

1. Первая определяет, есть ли на видео речь, чтобы в случае её отсутствия не запускать процесс просто так. 3
2. Вторая определяет язык. 23
3. Третья переводит речь в текст, нормализует его, расставляет знаки препинания, чтобы текст имел смысл и был целостным. 3
4. Четвёртая разбивает текст на спикеров, если их несколько — присваивает им конкретные голоса. 3
5. Пятая переводит текст с иностранного языка на русский и также приводит его в читабельный вид — со знаками препинания и смысловыми отрезками. 3
6. Шестая занимается синтезом речи и воспроизведением её на видео. 3

При этом, по задумке, должны быть сохранены все характеристики естественной речи: эмоциональность, интонации, паузы, правильные разбивки на фразы. 4