Как работает система обработки и синтеза речи в корпоративных решениях Yandex SpeechKit?

Система обработки и синтеза речи в корпоративных решениях Yandex SpeechKit работает на базе машинного обучения. vc.ru yandex.cloud Сервис применяется для разработки голосовых помощников, автоматизации колл-центров и речевой аналитики. vc.ru yandex.cloud

Процесс обработки речи включает несколько этапов: habr.com

1. Сбор данных. habr.com Для распознавания речи используются аудио из открытого интернета, специально записанное аудио в нужном формате и датасеты от внутренних заказчиков — сервисов Яндекса. habr.com Все записи должны быть точно размечены, то есть каждому слову на аудио должно соответствовать его буквенное значение. habr.com
2. Предобработка данных. habr.com Тексты приводятся к единому виду, а аудиозаписи аугментируются — меняются частоты, скорость, громкость. habr.com Это нужно, чтобы модель училась распознавать аудио разного качества. habr.com
3. Обучение модели. habr.com Перед обучением ML-модели данные нужно привести к специальному формату: извлечь акустические признаки из аудиодорожек, снять интонационный контур, предобработать тексты. habr.com

Процесс синтеза речи в Yandex SpeechKit Brand Voice Adaptive включает следующие шаги: vc.ru

1. Запись фраз-шаблонов. vc.ru Диктор, который озвучивает голосового робота, записывает заготовленные фразы-шаблоны по сценариям будущего использования. vc.ru
2. Загрузка записей в ML-модель. vc.ru Модель синтезирует точные цифровые копии уже записанных фраз-шаблонов. vc.ru Они созданы компьютером, но звучат так же естественно, как и аудиозапись. vc.ru
3. Дополнение шаблонов переменными. vc.ru Во время звонка ML-модель не только синтезирует шаблоны, но и дополняет их новыми переменными из баз данных. vc.ru При этом переменные всегда будут разными (например, имена абонентов). vc.ru
4. Синтез фраз целиком. vc.ru ML-модель в режиме реального времени синтезирует фразы целиком — и записанные диктором шаблоны, и переменные. vc.ru За счёт этого речь звучит максимально естественно и склейки внутри синтезируемой фразы не слышно. vc.ru