Как работает технология распознавания музыки в Яндекс Музыке?

Технология распознавания музыки в Яндекс Музыке работает следующим образом: yandex.ru

1. Характерные признаки, или сигнатуры, ищут на спектрограммах — двумерных диаграммах, где на горизонтальной оси представлено время, а на вертикальной — частота. yandex.ru Спектрограммы составляют как для записанного фрагмента, так и для всех треков из базы. yandex.ru
2. Затем сигнатуры фрагмента-образца сравнивают с сигнатурами известных системе треков. yandex.ru

В первой версии распознавалки признаки выделяли по набору правил, но это не всегда работало, так как правилами невозможно описать всё разнообразие искажений, которые могут быть на записи. yandex.ru Поэтому в основе современной версии лежит другой подход: за выделение сигнатур отвечает нейронная сеть, которая принимает решения самостоятельно. yandex.ru Чем больше образцов записанной музыки с разнообразными искажениями покажут нейросети, тем лучше она будет находить соответствия между фрагментами и треками и, соответственно, тем точнее будут ответы. yandex.ru

Технически задача формулируется так: на сервер поступает десятисекундный фрагмент записанного на смартфон аудиосигнала, после чего среди известных треков необходимо найти тот один, из которого фрагмент был записан. habr.com Если фрагмент не содержится ни в одном известном треке, равно как и если он вообще не является музыкальной записью, нужно ответить «ничего не найдено». habr.com