Как работает технология озвучивания электронных книг

Технология озвучивания электронных книг основана на синтезе речи (TTS — Text To Speech). blog.selfpub.ru В этом процессе участвует не одна нейросеть, а сразу несколько моделей машинного обучения, каждая из которых выполняет свою специфическую задачу. www.ferra.ru

Процесс озвучивания книги состоит из нескольких этапов: www.ferra.ru

1. Нормализация. www.ferra.ru Подготовка текста: обработка числительных, аббревиатур, синтагм и интонаций. www.ferra.ru Например, сокращения разворачиваются, а числа и даты преобразуются в текстовый формат. www.ferra.ru
2. Фонетическая запись. www.ferra.ru Модель расставляет ударения, а также выявляет омографы — слова, которые пишутся одинаково, но произносятся по-разному. www.ferra.ru Например, слово «плачу» может означать как «оплачиваю», так и «плачу (от слёз)» — нейросеть вычисляет по окружающему контексту нужное значение и, исходя из этого, ставит ударение. www.ferra.ru
3. Контекст. www.ferra.ru Текст разбивается на смысловые и интонационные элементы, а исходя из них определяют места для пауз. www.ferra.ru Модель анализирует предложения, чтобы понять, где сделать логические остановки — это важно, чтобы текст не звучал монотонно и читатель легко его понимал. www.ferra.ru
4. Акустическая модель. www.ferra.ru Здесь определяется нужный тон звучания — высота, темп и тип интонации (вопрос, восклицание, сомнение). www.ferra.ru Также важно правильно расставить смысловые ударения. www.ferra.ru Например, интонация вопроса требует повышения тона в конце предложения, а восклицание — более выраженной эмоциональной окраски. www.ferra.ru
5. Вокализация. www.ferra.ru На этом этапе происходит непосредственно «озвучка» — генерируется конечный аудиофайл. www.ferra.ru

Для работы всех этих моделей большое значение имеет обучение. www.ferra.ru Дикторы произносят и записывают разные фрагменты текстов, на которых обучается программа. blog.selfpub.ru Она обращает внимание на множество звуковых характеристик, поэтому синтезированные голоса получаются естественными. blog.selfpub.ru

Пользователь

Время добавления