Как работает технология распознавания речи в Яндекс Браузере?

Технология распознавания речи в Яндекс Браузере работает по следующему алгоритму: vc.ru

1. Пользователь нажимает на кнопку перевода видео. vc.ru Браузер распознаёт аудиодорожку или видео целиком. vc.ru
2. Запись передаётся функции распознавания речи. vc.ru Она превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. vc.ru
3. Запускается нейросеть речанкер. vc.ru Она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. vc.ru
4. Предложения передаются «Яндекс.Переводчику». vc.ru Он переводит получившийся после работы речанкера английский текст на русский. vc.ru
5. Система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. vc.ru

В озвучке видео в Яндекс Браузере участвует несколько нейросетей: www.iphones.ru

• Первая определяет язык говорящего. www.iphones.ru Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский. www.iphones.ru
• Вторая переводит речь в текст. www.iphones.ru В полученной модели создаётся аудиодорожка, из которой нейросеть удаляет лишние звуки и слова-паразиты. www.iphones.ru
• Третья нормализует текст и расставляет знаки препинания. www.iphones.ru Она получает набор переведённых слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл. www.iphones.ru
• Четвёртая определяет количество спикеров, их пол и применяемые местоимения. www.iphones.ru Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80–150 Гц, у женщин — 150–250 Гц. www.iphones.ru
• Пятая занимается переводом текста на русский язык. www.iphones.ru
• Шестая синтезирует речь и синхронизирует её с роликом. www.iphones.ru Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь. www.iphones.ru