Какие технологии используются в Яндекс Браузере для перевода видео на разные языки?

В Яндекс Браузере для перевода видео на разные языки используются шесть нейросетей: www.iphones.ru

1. Определяет язык говорящего. www.iphones.ru Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. www.iphones.ru
2. Переводит речь в текст. www.iphones.ru В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. www.iphones.ru
3. Нормализует текст и расставляет знаки препинания. www.iphones.ru Нейросеть получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. www.iphones.ru
4. Определяет количество спикеров, их пол и применяемые местоимения. www.iphones.ru Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. www.iphones.ru
5. Занимается переводом текста на русский язык. www.iphones.ru

Технология приглушает оригинальную озвучку и поверх накладывает сгенерированную речь. journal.tinkoff.ru Мужские голоса озвучиваются мужским голосом, женские — женским. journal.tinkoff.ru Технология умеет распознавать нескольких спикеров на одном видео, у каждого из них будет свой голос озвучки, чтобы зрители не запутались. journal.tinkoff.ru