Как работает технология глубокого обучения для преобразования голоса в реальном времени?

Технология глубокого обучения для преобразования голоса в реальном времени работает следующим образом: developers.sber.ru

1. Пользователь загружает текст онлайн, выбирает понравившегося диктора из обширной библиотеки и нажимает кнопку «Синтезировать». developers.sber.ru
2. Обученная нейросеть анализирует текстовую информацию и переводит её в голосовые единицы. developers.sber.ru
3. Затем алгоритм объединяет их в единую звуковую дорожку, которая нормализуется под привычное восприятие — корректируются ударение, интонация, фонетическая тональность, произношение сложных звуков. developers.sber.ru

Например, в платформе SaluteSpeech пользователи загружают текст онлайн, выбирают понравившегося диктора из обширной библиотеки и нажимают кнопку «Синтезировать». developers.sber.ru Обученная нейросеть анализирует текстовую информацию и переводит её в голосовые единицы, а затем алгоритм объединяет их в единую звуковую дорожку. developers.sber.ru

Для обучения глубоких нейронных сетей используются большие объёмы записанной речи и, в случае системы преобразования текста в речь, связанных меток и/или входного текста. en.wikipedia.org