Синхронный перевод видео в браузерах с помощью искусственного интеллекта работает на основе нескольких нейросетей: 1

1. Первая определяет язык говорящего. 1 Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. 1
2. Вторая переводит речь в текст. 1 В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. 1
3. Третья нормализует текст и расставляет знаки препинания. 1 Она получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. 1
4. Четвёртая определяет количество спикеров, их пол и применяемые местоимения. 1 Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. 1
5. Пятая занимается переводом текста на русский язык. 1
6. Шестая синтезирует речь и синхронизирует её с роликом. 1 Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. 1

Например, в «Яндекс Браузере» для включения функции перевода нужно запустить любое видео, навести на него курсор и найти в верхней части панели значок «Яндекс Переводчика». 2 После нажатия автоматический голосовой перевод включится сам. 2