Как работает технология генерации музыки на основе спектрограмм?

Технология генерации музыки на основе спектрограмм, например, в инструменте Riffusion, работает следующим образом: ailibri.com

1. Пользователь вводит текстовый промпт. ailibri.com
2. Модель генерирует спектрограмму, соответствующую описанию. ailibri.com
3. Спектрограмма преобразуется обратно в звуковой сигнал. ailibri.com

Спектрограмма — это визуальное представление частотного спектра звукового сигнала во времени. ailibri.com По сути, это график, где по горизонтали — время, по вертикали — частота, а цвет или яркость показывает амплитуду. ailibri.com

При реконструкции аудиоклипа используется алгоритм Гриффина-Лима, применяющийся для синтеза речи. samesound.ru Он создаёт изображения с амплитудой синусоидальных волн, а не фазы, которые в дальнейшем преобразуются и смешиваются между собой. samesound.ru