Технология создания трёхмерной спектрограммы музыкального произведения включает несколько этапов: 13
- Разделение входного сигнала на частотные диапазоны. 34 Для этого используют метод полосовых фильтров, который предполагает аналоговую обработку. 13
- Цифровая выборка данных во временной области. 34 Сигнал разбивают на части, которые, как правило, перекрываются. 34
- Преобразование Фурье. 34 Его применяют, чтобы рассчитать величину частотного спектра для каждой части сигнала. 34
- Соответствие фрагментов изображения. 13 Каждая часть сигнала соответствует вертикальной линии на изображении — это значение амплитуды в зависимости от частоты в каждый момент времени. 3
- Формирование изображения или трёхмерной поверхности. 1 Для этого спектры или временные графики располагают рядом. 3
Существует множество вариаций формата спектрограммы. 1 Например, иногда вертикальная и горизонтальная оси переключают, поэтому время идёт вверх и вниз, а амплитуда представлена как высота трёхмерной поверхности. 1
Для создания спектрограмм также используют нейросети, например Riffusion, которая на основе текстового описания генерирует изображения-спектрограммы, а затем конвертирует их в аудиоклипы. 2