Как работает технология генерации музыки на основе спектрограмм?
Технология генерации музыки на основе спектрограмм, например, в инструменте Riffusion, работает следующим образом: ailibri.com
- Пользователь вводит текстовый промпт. ailibri.com
- Модель генерирует спектрограмму, соответствующую описанию. ailibri.com
- Спектрограмма преобразуется обратно в звуковой сигнал. ailibri.com
Спектрограмма — это визуальное представление частотного спектра звукового сигнала во времени. ailibri.com По сути, это график, где по горизонтали — время, по вертикали — частота, а цвет или яркость показывает амплитуду. ailibri.com
При реконструкции аудиоклипа используется алгоритм Гриффина-Лима, применяющийся для синтеза речи. samesound.ru Он создаёт изображения с амплитудой синусоидальных волн, а не фазы, которые в дальнейшем преобразуются и смешиваются между собой. samesound.ru
