Как работает замена голоса в музыкальных треках с помощью нейросетей?

Замена голоса в музыкальных треках с помощью нейросетей, например, в программе RVC, работает следующим образом: virartech.ru timeweb.com

1. Берется 10–20 минут записи голоса человека — речь, пение (даже мимо нот) и создаётся NVM — Нейронная Голосовая Модель. virartech.ru
2. В готовой песне разделяется исходный вокал и музыка (тоже с помощью ИИ). virartech.ru
3. Специальный ИИ-алгоритм RVC заменяет исходный тембр на новый, сохраняя манеру пения (особенности интонирования). virartech.ru

Алгоритм RVC работает по принципу замены в исходном вокале всех фрагментов (элементов фонем) на похожие из модели (NVM). virartech.ru Если какой-то звук отсутствует, то он будет заменяться на другой. virartech.ru

Также для замены голоса в музыкальных треках можно использовать нейросеть So-VITS-SVC. samesound.ru Для обучения модели пользователи извлекают дорожку вокала из записей известных музыкантов, загружают сэмплы в программу, а затем генерируют вокальные партии заданного исполнителя. samesound.ru