Алгоритм преобразования речи в текст (Speech-to-Text) основан на многоуровневом процессе обработки и анализа аудио. 34 Речь с помощью искусственного интеллекта преобразуется сначала в буквы, затем в слова, фразы, предложения, и в результате получается текст. 34
Процесс можно разделить на три ключевых этапа: 1
- Анализ сигнала. 1 Система получает голосовой сигнал, записывает и посылает на сервер. 1 Сервер очищает сигнал от шумов и помех, затем делит запись на фонемы — фрагменты длиной до 25 миллисекунд. 1 Каждый фрагмент сервер пропускает через акустическую модель, которая определяет, какие именно звуки произнесены. 1
- Расшифровка аудио. 1 Речевые фрагменты записи сравнивают с эталонными произношениями слогов и слов из акустической модели. 1 Система использует машинное обучение, чтобы подобрать фонетические варианты произнесённых слов и определить их контекст. 1
- Преобразование речи в текст. 1 С помощью языковой модели алгоритм определяет порядок слов и подбирает нераспознанные слова по контексту. 1 Полученная информация поступает в декодер, который объединяет данные от акустической и языковой моделей и преобразует их в текст. 1
После распознавания текст проходит этап нормализации, чтобы стать читабельным. 3 Во время него исправляется написание чисел (буквами или цифрами), расставляются знаки препинания, приводятся в порядок заглавные и строчные буквы, а имена собственные пишутся с большой буквы. 3