В Яндекс Браузере для перевода видео на разные языки используются шесть нейросетей: 5

1. Определяет язык говорящего. 5 Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. 5
2. Переводит речь в текст. 5 В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. 5
3. Нормализует текст и расставляет знаки препинания. 5 Нейросеть получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. 5
4. Определяет количество спикеров, их пол и применяемые местоимения. 5 Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. 5
5. Занимается переводом текста на русский язык. 5

Технология приглушает оригинальную озвучку и поверх накладывает сгенерированную речь. 1 Мужские голоса озвучиваются мужским голосом, женские — женским. 1 Технология умеет распознавать нескольких спикеров на одном видео, у каждого из них будет свой голос озвучки, чтобы зрители не запутались. 1