Нейросеть, которая может петь голосом человека, работает следующим образом:

Программа обучается на множестве записей какого-либо певца. 1 Она анализирует его тембр, нюансы и особенности пения. 1

Затем нейросеть «поёт» загруженный текст на предложенную ей мелодию этим голосом. 1 В теории нейросеть может исполнять, например, стихи на музыку одного исполнителя голосом другого. 1

Например, такой алгоритм разработали китайские исследователи из компании Tencent. 5 Они создали систему, которая может создавать реалистичную аудиозапись с пением, получая на вход только образцы речи. 5

Следует отметить, что коммерческое использование сгенерированных таким образом треков может нарушать авторские права, поэтому важно соблюдать соответствующие правовые нормы.