Как на самом деле работает система голоса в социальных сетях?

Система распознавания голоса в социальных сетях работает на основе технологии автоматического распознавания речи (ASR). vc.ru Она помогает переводить устную речь в текст. vc.ru

Процесс включает несколько этапов: cloud.vk.com

1. Анализ сигнала. cloud.vk.com Система получает голосовой сигнал, записывает и посылает на сервер. cloud.vk.com Сервер очищает сигнал от шумов и помех, затем делит запись на фонемы — фрагменты длиной до 25 миллисекунд. cloud.vk.com Каждый фрагмент сервер пропускает через акустическую модель, которая определяет, какие именно звуки произнесены. cloud.vk.com
2. Расшифровка аудио. cloud.vk.com Речевые фрагменты записи сравнивают с эталонными произношениями слогов и слов из акустической модели. cloud.vk.com Система использует машинное обучение, чтобы подобрать фонетические варианты произнесённых слов и определить их контекст. cloud.vk.com
3. Преобразование речи в текст. cloud.vk.com С помощью языковой модели алгоритм определяет порядок слов и подбирает нераспознанные слова по контексту. cloud.vk.com Полученная информация поступает в декодер, который объединяет данные от акустической и языковой моделей и преобразует их в текст. cloud.vk.com

Например, во «ВКонтакте» после того, как пользователь записывает аудио, оно попадает на сервер, где запись обрабатывают три нейросети: vc.ru

• Акустическая модель отвечает за распознавание звуков. vc.ru
• Языковая модель формирует из звуков слова. vc.ru
• Пунктуационная модель определяет границы предложения, расставляет знаки препинания и заглавные буквы. vc.ru Это нужно, чтобы на выходе получился связный логичный текст. vc.ru