Как работает система идентификации песен в современных приложениях для поиска музыки?

Современные приложения для поиска музыки, например Shazam, работают по принципу звукового отпечатка. lenta.ru

Процесс происходит так: приложение записывает фрагмент музыки и сравнивает его с базой данных. lenta.ru Математические алгоритмы ищут совпадения по десяткам музыкальных характеристик. lenta.ru В результате происходит идентификация звукового потока, и на экране отображается название песни, альбома, год издания и имя исполнителя. lenta.ru

Для создания отпечатка используется спектрограмма — трёхмерная диаграмма, которая показывает изменение частот за период времени. dzen.ru vc.ru При этом учитываются амплитуда, то есть насколько громкий звук. dzen.ru

Чтобы убрать ненужные части аудиоклипа, например фоновый шум, алгоритм выделяет только «пики» — участки с самым высоким энергетическим содержанием. dzen.ru Это позволяет сделать размер отпечатков настолько малым, что для идентификации песни в базе данных требуется всего несколько миллисекунд. dzen.ru