Как работает сервис для перевода видео?

Сервис для перевода видео работает следующим образом:

1. Пользователь нажимает на кнопку перевода видео. 1 После этого браузер распознаёт аудиодорожку или видео целиком. 1
2. Запись передаётся функции распознавания речи. 1 Она превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. 1
3. Запускается нейросеть, известная как речанкер. 1 Она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. 1
4. Получившийся текст передаётся переводчику. 1 Например, «Яндекс.Переводчик» переводит английский текст на русский. 1
5. Система сопоставляет метаинформацию и переведённый текст. 1 Она синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. 1 Это необходимо, чтобы вместить перевод в оригинальную аудиодорожку. 1

Существуют и другие сервисы для перевода видео, которые работают по похожим принципам. 24