Как работает система распознавания музыкальных композиций в игровых звуковых библиотеках?

Система распознавания музыкальных композиций в игровых звуковых библиотеках работает по следующему алгоритму: moluch.ru

1. Захват звука. moluch.ru Микрофон преобразует звуковые колебания в аналоговый электрический сигнал. moluch.ru Для дальнейшей обработки этот сигнал нужно преобразовать в цифровой. moluch.ru habr.com Для этого используют частоту дискретизации. moluch.ru nuancesprog.ru
2. Анализ частотных характеристик. moluch.ru Из всего множества частот выбирают важные, в частности с наибольшими амплитудами. moluch.ru Частотный диапазон разбивают на небольшие интервалы с учётом частот, которые характерны для важных музыкальных компонентов. moluch.ru
3. Вычисление хэш-тегов. moluch.ru Если хэш-тег совпадает с двумя композициями одновременно, нужно проверить совпадение в другом временном промежутке. moluch.ru
4. Сравнение с базой данных. moluch.ru habr.com Хэш-теги сравнивают с теми, что хранятся в базе данных программы. moluch.ru habr.com Записи, в которых нашлись совпадения, сортируют в убывающем порядке. moluch.ru habr.com Чем больше совпадений, тем выше вероятность найти нужную композицию. moluch.ru habr.com

Для распознавания музыки часто используют нейросети. lifehacker.ru Их знакомят с огромной библиотекой треков, а затем алгоритмы преобразуют звук в спектрограмму и раскладывают его на время, частоту и интенсивность. lifehacker.ru