Как работает технология распознавания музыки в Яндекс Музыке?

Технология распознавания музыки в Яндекс Музыке работает на основе выделения и сравнения сигнатур — признаков, по которым можно понять, что записанный фрагмент относится к тому или иному треку. yandex.ru

Звук представляется в виде спектрограммы — уникального графика трека с зависимостью амплитуды музыкального сигнала от времени. education.yandex.ru Спектрограммы составляют как для записанного фрагмента, так и для всех треков из базы. yandex.ru

Нейросеть работает со спектрограммами как с изображениями, накладывая их друг на друга и находя сходство. education.yandex.ru Дополнительно учитываются темп, лад, громкость и вся информация об альбоме, жанре и исполнителе. education.yandex.ru

Алгоритм ищет во всей базе отрезок трека, наиболее похожий на запрос. habr.com sitmaster.by Для этого нужно: sitmaster.by

1. В каждом треке найти такое смещение по времени, где бы максимальное число пиков совпало с запросом. habr.com sitmaster.by
2. Из всех треков выбрать тот, где совпадение оказалось наибольшим. sitmaster.by

Если для запрошенного фрагмента нет подходящего трека в базе, либо фрагмент вообще не является записью какого-либо трека, система отвечает «ничего не найдено». habr.com sitmaster.by