Как работает распознавание речи для автоматического перевода в современных сервисах?

Распознавание речи для автоматического перевода в современных сервисах работает в три этапа: mws.ru

1. Анализ сигнала. mws.ru Система получает голосовой сигнал, записывает его и посылает на сервер. cloud.vk.com Там сигнал очищается от шумов и помех, затем делится на фонемы — фрагменты длиной до 25 миллисекунд. cloud.vk.com Каждый фрагмент сервер пропускает через акустическую модель, которая определяет, какие именно звуки произнесены. cloud.vk.com
2. Расшифровка аудио. cloud.vk.com Речевые фрагменты записи сравнивают с эталонными произношениями слогов и слов из акустической модели. cloud.vk.com Система использует машинное обучение, чтобы подобрать фонетические варианты произнесённых слов и определить их контекст. cloud.vk.com
3. Преобразование речи в текст. cloud.vk.com С помощью языковой модели алгоритм определяет порядок слов и подбирает нераспознанные слова по контексту. cloud.vk.com Полученная информация поступает в декодер, который объединяет данные от акустической и языковой моделей и преобразует их в текст. cloud.vk.com

Например, в сервисе перевода видео в «Яндекс Браузере» алгоритм выглядит так: пользователь нажимает на кнопку перевода видео, после чего браузер распознаёт аудиодорожку или видео целиком. vc.ru Запись передаётся функции распознавания речи, которая превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. vc.ru Затем запускается нейросеть, известная как речанкер: она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. vc.ru Далее они передаются «Яндекс Переводчику», он переводит получившийся после работы речанкера английский текст на русский. vc.ru В конце система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. vc.ru