Технология изменения голоса в современных текстовых переводчиках работает на основе нейросетей и искусственного интеллекта. 1

Некоторые принципы работы:

• Обучение на больших объёмах данных. 1 Нейросети обучаются на наборах данных, содержащих различные голосовые записи. 1 Это позволяет им лучше понимать и воспроизводить особенности человеческого голоса. 1
• Генерация синтетического голоса. 1 После обучения нейросеть может генерировать синтетический голос, который звучит как реальный человек. 1 Это достигается путём анализа и синтеза звуковых волн. 1
• Адаптация к индивидуальным особенностям. 1 Нейросети могут адаптироваться к индивидуальным особенностям голоса пользователя, что позволяет создавать уникальные и персонализированные голосовые эффекты. 1

Пример технологии — Translatotron от Google. 3 Это синхронный переводчик, который может копировать голос говорящего при переводе. 3 Алгоритм принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. 3 Затем создаёт аудиофайл. 3

Также есть сервисы, которые позволяют озвучивать тексты голосами разных персонажей, например SaluteSpeech YourVoice от экосистемы Sber. 4 В основе синтеза речи — технология Text-to-Speech, которая генерирует речь, которая звучит так, будто говорит реальный человек. 4