Как работает технология автоматического перевода в Яндекс Браузере?

Технология автоматического перевода в Яндекс Браузере работает с помощью шести нейросетей: www.iphones.ru

1. Первая определяет язык говорящего. www.iphones.ru Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. www.iphones.ru
2. Вторая переводит речь в текст. www.iphones.ru В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки. www.iphones.ru Она же удаляет слова-паразиты, делая итоговый текст «чище». www.iphones.ru
3. Третья нормализует текст и расставляет знаки препинания. www.iphones.ru То есть она получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. www.iphones.ru
4. Четвёртая определяет количество спикеров, их пол и применяемые местоимения. www.iphones.ru Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. www.iphones.ru
5. Пятая занимается переводом текста на русский язык. www.iphones.ru
6. Шестая синтезирует речь и синхронизирует её с роликом. www.iphones.ru Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. www.iphones.ru

При переводе обычных роликов нейросети получают аудиодорожку сразу целиком. journal.tinkoff.ru У них есть время её проанализировать, разбить речь на предложения и синтезировать озвучку на русском языке. journal.tinkoff.ru Во время работы с прямыми трансляциями такого запаса времени нет — технология работает почти как синхронный переводчик. journal.tinkoff.ru

После того как знаки препинания расставлены, нейросеть выделяет из текста части, содержащие законченную мысль. journal.tinkoff.ru Именно они отправляются на перевод, который затем синтезируется и накладывается поверх оригинальной аудиодорожки. journal.tinkoff.ru