Как работает технология Wavenet для синтеза речи в голосовых помощниках?

Технология WaveNet для синтеза речи в голосовых помощниках работает на основе нейросетей. nplus1.ru Алгоритм заключается в поточечной генерации профиля звуковой волны. nplus1.ru

Процесс происходит так: нейросеть обучают с помощью записей голоса диктора. nplus1.ru Она усваивает набор правил, которые описывают, как изменяется форма звукового сигнала с течением времени. en.wikipedia.org

Затем обученную сеть используют для создания новых сигналов, похожих на речь. en.wikipedia.org WaveNet способен точно моделировать разные голоса, при этом акцент и тембр ввода коррелируют с выводом. en.wikipedia.org

Некоторые особенности работы технологии:

• Учёт лингвистических особенностей текста. nplus1.ru На уровне слов это длина слова в слогах и ударная гласная, на уровне предложений — порядок слов, их длина и тип (повествовательное, восклицательное или вопросительное). nplus1.ru
• Возможность работы без заданного текста. nplus1.ru WaveNet на основе анализа исходных форм звуковых волн может самостоятельно синтезировать подобие человеческой речи. nplus1.ru
• Имитация звучания голоса. nplus1.ru deepmind.google Модель включает такие элементы, как причмокивание губами и дыхание, а также интонацию, акценты и эмоции. deepmind.google