Процесс перевода видео с английского языка в Яндекс Браузере включает несколько этапов: 14
- Пользователь нажимает на кнопку перевода. 1 Браузер распознаёт аудиодорожку или видео целиком. 1 Запись передаётся функции распознавания речи, которая превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. 1
- Запускается нейросеть речанкер. 1 Она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. 1
- Предложения передаются «Яндекс.Переводчику». 1 Он переводит получившийся после работы речанкера английский текст на русский. 1
- Система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. 1 Это необходимо, чтобы вместить перевод в оригинальную аудиодорожку. 1
В работе переводчика существуют определённые ограничения — продолжительность роликов не должна превышать 4 часов, а контент не должен требовать лицензирования. 3