Технология генерации музыки на основе спектрограмм, например, в инструменте Riffusion, работает следующим образом: 1

1. Пользователь вводит текстовый промпт. 1
2. Модель генерирует спектрограмму, соответствующую описанию. 1
3. Спектрограмма преобразуется обратно в звуковой сигнал. 1

Спектрограмма — это визуальное представление частотного спектра звукового сигнала во времени. 1 По сути, это график, где по горизонтали — время, по вертикали — частота, а цвет или яркость показывает амплитуду. 1

При реконструкции аудиоклипа используется алгоритм Гриффина-Лима, применяющийся для синтеза речи. 3 Он создаёт изображения с амплитудой синусоидальных волн, а не фазы, которые в дальнейшем преобразуются и смешиваются между собой. 3