Как работает система распознавания музыкальных отрывков на смартфонах?

Система распознавания музыкальных отрывков на смартфонах работает на основе создания цифрового отпечатка композиции и сравнения его с базой данных. trashbox.ru gol.ru

Процесс включает несколько шагов: vc.ru

1. Расчёт спектрограммы аудиофайла. vc.ru Это график, который показывает частоту звука в зависимости от времени. vc.ru deep-review.com
2. Поиск пиков на спектрограмме. vc.ru Они отражают самые громкие частоты в аудиозаписи и помогают создать отпечаток. vc.ru
3. Хеширование пиков. vc.ru Пики составляются в пары для создания отпечатка. vc.ru
4. Сопоставление. vc.ru Отпечаток сравнивается с хешами, которые уже находятся в базе данных. vc.ru

Например, в смартфонах Google Pixel для распознавания музыки используется функция «Сейчас исполняется». trashbox.ru Она считывает ключевые слова примерно раз в минуту, записывает фрагмент трека продолжительностью около 8 секунд и превращает его в цифровой отпечаток. trashbox.ru Затем этот отпечаток сравнивается с локальной базой данных, которая хранится на устройстве. trashbox.ru

В сервисе Shazam принцип работы такой: gol.ru

1. Сервис анализирует звуковой фрагмент через микрофон смартфона. gol.ru
2. Выделяет из всех звуков вокруг динамика именно музыкальную часть. gol.ru
3. Создаёт из неё специальный отпечаток и сравнивает его с базой. gol.ru
4. Выдает результат на экране — обычно это происходит за секунды. gol.ru