Нейронный машинный перевод в интернет-браузерах, например в «Яндекс Браузере», работает следующим образом: 14
- Пользователь нажимает на кнопку перевода видео. 1 Браузер распознаёт аудиодорожку или видео целиком. 1
- Запись передаётся функции распознавания речи, которая превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. 1
- Затем запускается нейросеть, известная как речанкер: она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. 1
- Далее они передаются «Яндекс Переводчику», он переводит получившийся после работы речанкера английский текст на русский. 1
- В конце система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. 1 Это необходимо, чтобы вместить перевод в оригинальную аудиодорожку. 1
Также в некоторых браузерах, например в Opera, есть технология мгновенного перевода веб-страниц, документов и сообщений прямо в интерфейсе браузера. 3