Как работает система распознавания музыки через звуковые волны?

Система распознавания музыки через звуковые волны работает по следующему принципу: из исходного звука извлекаются частотные характеристики, вычисляются хэш-теги и сравниваются с теми, что хранятся в музыкальной базе данных. 1

Некоторые этапы процесса:

1. Преобразование Фурье. 23 С помощью этого математического метода из сложной волны получают набор всех частот, из которых она состоит, а также амплитуду (громкость) каждой из них. 3
2. Построение спектрограммы. 23 Это график, который по оси Y показывает конкретную частоту, а по оси X — время. 3 То есть можно видеть, какие частоты и насколько громко звучат в каждый момент времени. 3
3. Поиск ярких областей на спектрограмме. 3 Алгоритм определяет, какие частоты (ноты) звучат наиболее громко в конкретный момент времени. 3
4. Создание уникального отпечатка композиции. 3 Вместо конкретных частот с привязкой к определённому времени хранят информацию о том, как связаны конкретные частоты между собой. 3 Например, сохраняют информацию о том, что в определённой композиции звук на частоте 1600 Гц начинается спустя 3 секунды после звука на частоте 515 Гц. 3
5. Сопоставление с базой данных. 4 Звуковой отпечаток сопоставляется с предварительно сохранёнными звуковыми отпечатками в базе данных. 4 После успешного сопоставления отображается информация о треке, такая как название трека, альбом, тексты песен, исполнитель, жанр и т. д.. 4