Технология преобразования голоса в текст (Speech-to-Text) основана на нейросети, которая обрабатывает речь и возвращает распознанный текст. developers.sber.ru www.mtt.ru
Процесс можно разделить на несколько этапов: voximplant.ru
- Анализ сигнала. voximplant.ru cloud.vk.com Система получает голосовой сигнал, записывает и посылает на сервер. cloud.vk.com Сервер очищает сигнал от шумов и помех, затем делит запись на фонемы — фрагменты длиной до 25 миллисекунд. cloud.vk.com Каждый фрагмент сервер пропускает через акустическую модель, которая определяет, какие именно звуки произнесены. cloud.vk.com
- Расшифровка аудио. cloud.vk.com Речевые фрагменты записи сравнивают с эталонными произношениями слогов и слов из акустической модели. cloud.vk.com Система использует машинное обучение, чтобы подобрать фонетические варианты произнесённых слов и определить их контекст. cloud.vk.com
- Преобразование речи в текст. cloud.vk.com С помощью языковой модели алгоритм определяет порядок слов и подбирает нераспознанные слова по контексту. cloud.vk.com Полученная информация поступает в декодер, который объединяет данные от акустической и языковой моделей и преобразует их в текст. cloud.vk.com
Чтобы нейросеть могла отождествлять звуки и буквы, её обучают на первичном датасете, состоящем из голосовых аудиозаписей в сочетании с размеченным текстом. www.mtt.ru
Чем больше образцов человеческой речи (от людей разного пола, возраста, с разными особенностями произношения и интонациями) собрано в датасете, тем точнее нейросеть может распознавать сказанное. www.mtt.ru