Как работает функция голосового перевода в онлайн-сервисах?

Функция голосового перевода в онлайн-сервисах, например в «Яндекс Браузере», работает с помощью нескольких нейросетей: www.iphones.ru

1. Первая нейросеть определяет язык говорящего. www.iphones.ru Если он говорит на поддерживаемом языке, то браузер предлагает перевести содержимое на русский. www.iphones.ru
2. Вторая нейросеть переводит речь в текст. www.iphones.ru В полученной модели создаётся аудиодорожка, из которой удаляется лишние звуки и слова-паразиты. www.iphones.ru
3. Третья нейросеть нормализует текст и расставляет знаки препинания. www.iphones.ru Она получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. www.iphones.ru
4. Четвёртая нейросеть определяет количество спикеров, их пол и применяемые местоимения. www.iphones.ru Вычисляется тип голоса (мужской или женский) по частоте звучания. www.iphones.ru
5. Пятая нейросеть занимается переводом текста на русский язык. www.iphones.ru
6. Шестая нейросеть синтезирует речь и синхронизирует её с роликом. www.iphones.ru Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. www.iphones.ru

Для перевода потоковых видео, таких как прямые трансляции, используется отдельный механизм — потоковый перевод. habr.com Он позволяет переводить контент почти в режиме реального времени. habr.com