Как используется WaveNet в приложениях для преобразования текста в речь?

WaveNet используется в приложениях для преобразования текста в речь путём генерации необработанных аудиосигналов с помощью нейронной сети, обученной на большом количестве речевых образцов. voximplant.ru

Процесс работы: www.baeldung.com

1. Предоставляется входной текст. www.baeldung.com
2. Текст преобразуется в ряды лингвистических и фонетических признаков. www.baeldung.com Эта серия предоставляет модели всю информацию на детальном уровне (текущая фонема, слог, слово и т. д.). www.baeldung.com
3. Серия передаётся в модель для генерации речи. www.baeldung.com

Некоторые особенности использования WaveNet:

• Синтез речи на основе текущего слова. www.baeldung.com Модель WaveNet синтезирует речь, подготовленную для нового текста не только на основе предыдущих аудиосэмплов, но и на основе текущего слова. www.baeldung.com
• Возможность выбора голоса. habr.com Одна WaveNet-сеть способна изучить характеристики разных голосов, мужских и женских. habr.com Чтобы дать ей возможность выбирать нужный голос для каждого высказывания, сети ставится условие использовать идентификацию говорящего человека. habr.com
• Передача на вход модели дополнительной информации. habr.com Например, про эмоции или акценты, чтобы сделать речь ещё более разнообразной и интересной. habr.com

WaveNet используется, в частности, онлайн-сервисами Google: Google Assistant, Google Search и Google Translate. voximplant.ru