Технология создания трёхмерной спектрограммы музыкального произведения включает несколько этапов: panglossa.fandom.com ru.wikipedia.org
- Разделение входного сигнала на частотные диапазоны. ru.wikipedia.org ru.ruwiki.ru Для этого используют метод полосовых фильтров, который предполагает аналоговую обработку. panglossa.fandom.com ru.wikipedia.org
- Цифровая выборка данных во временной области. ru.wikipedia.org ru.ruwiki.ru Сигнал разбивают на части, которые, как правило, перекрываются. ru.wikipedia.org ru.ruwiki.ru
- Преобразование Фурье. ru.wikipedia.org ru.ruwiki.ru Его применяют, чтобы рассчитать величину частотного спектра для каждой части сигнала. ru.wikipedia.org ru.ruwiki.ru
- Соответствие фрагментов изображения. panglossa.fandom.com ru.wikipedia.org Каждая часть сигнала соответствует вертикальной линии на изображении — это значение амплитуды в зависимости от частоты в каждый момент времени. ru.wikipedia.org
- Формирование изображения или трёхмерной поверхности. panglossa.fandom.com Для этого спектры или временные графики располагают рядом. ru.wikipedia.org
Существует множество вариаций формата спектрограммы. panglossa.fandom.com Например, иногда вертикальная и горизонтальная оси переключают, поэтому время идёт вверх и вниз, а амплитуда представлена как высота трёхмерной поверхности. panglossa.fandom.com
Для создания спектрограмм также используют нейросети, например Riffusion, которая на основе текстового описания генерирует изображения-спектрограммы, а затем конвертирует их в аудиоклипы. samesound.ru