Как работает нейронный машинный перевод в интернет-браузерах?

Нейронный машинный перевод в интернет-браузерах, например в «Яндекс Браузере», работает следующим образом: vc.ru yandex.ru

1. Пользователь нажимает на кнопку перевода видео. vc.ru Браузер распознаёт аудиодорожку или видео целиком. vc.ru
2. Запись передаётся функции распознавания речи, которая превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. vc.ru
3. Затем запускается нейросеть, известная как речанкер: она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. vc.ru
4. Далее они передаются «Яндекс Переводчику», он переводит получившийся после работы речанкера английский текст на русский. vc.ru
5. В конце система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. vc.ru Это необходимо, чтобы вместить перевод в оригинальную аудиодорожку. vc.ru

Также в некоторых браузерах, например в Opera, есть технология мгновенного перевода веб-страниц, документов и сообщений прямо в интерфейсе браузера. dzen.ru