Технология распознавания музыки в Яндекс Музыке работает следующим образом: 1

1. Характерные признаки, или сигнатуры, ищут на спектрограммах — двумерных диаграммах, где на горизонтальной оси представлено время, а на вертикальной — частота. 1 Спектрограммы составляют как для записанного фрагмента, так и для всех треков из базы. 1
2. Затем сигнатуры фрагмента-образца сравнивают с сигнатурами известных системе треков. 1

В первой версии распознавалки признаки выделяли по набору правил, но это не всегда работало, так как правилами невозможно описать всё разнообразие искажений, которые могут быть на записи. 1 Поэтому в основе современной версии лежит другой подход: за выделение сигнатур отвечает нейронная сеть, которая принимает решения самостоятельно. 1 Чем больше образцов записанной музыки с разнообразными искажениями покажут нейросети, тем лучше она будет находить соответствия между фрагментами и треками и, соответственно, тем точнее будут ответы. 1

Технически задача формулируется так: на сервер поступает десятисекундный фрагмент записанного на смартфон аудиосигнала, после чего среди известных треков необходимо найти тот один, из которого фрагмент был записан. 2 Если фрагмент не содержится ни в одном известном треке, равно как и если он вообще не является музыкальной записью, нужно ответить «ничего не найдено». 2