Распознавание речи для автоматического перевода в современных сервисах работает в три этапа: 2

1. Анализ сигнала. 2 Система получает голосовой сигнал, записывает его и посылает на сервер. 5 Там сигнал очищается от шумов и помех, затем делится на фонемы — фрагменты длиной до 25 миллисекунд. 5 Каждый фрагмент сервер пропускает через акустическую модель, которая определяет, какие именно звуки произнесены. 5
2. Расшифровка аудио. 5 Речевые фрагменты записи сравнивают с эталонными произношениями слогов и слов из акустической модели. 5 Система использует машинное обучение, чтобы подобрать фонетические варианты произнесённых слов и определить их контекст. 5
3. Преобразование речи в текст. 5 С помощью языковой модели алгоритм определяет порядок слов и подбирает нераспознанные слова по контексту. 5 Полученная информация поступает в декодер, который объединяет данные от акустической и языковой моделей и преобразует их в текст. 5

Например, в сервисе перевода видео в «Яндекс Браузере» алгоритм выглядит так: пользователь нажимает на кнопку перевода видео, после чего браузер распознаёт аудиодорожку или видео целиком. 1 Запись передаётся функции распознавания речи, которая превращает её в набор слов с метаинформацией: каким голосом были сказаны слова — мужским или женским, в какой момент времени и так далее. 1 Затем запускается нейросеть, известная как речанкер: она объединяет отдельно стоящие слова в группы, выделяет акценты и разбивает их на предложения. 1 Далее они передаются «Яндекс Переводчику», он переводит получившийся после работы речанкера английский текст на русский. 1 В конце система сопоставляет метаинформацию и переведённый текст и синтезирует его в речь на русском языке так, чтобы попасть в тайминги и сохранить паузы. 1