Как работают современные алгоритмы поиска музыки по текстовому описанию?

Современные алгоритмы поиска музыки по текстовому описанию работают на основе семантического поиска, который использует искусственный интеллект. radiotochki.net

Процесс можно условно разделить на три этапа: radiotochki.net

1. Анализ аудио и создание «звуковых отпечатков». radiotochki.net Нейросеть «прослушивает» каждый сэмпл в своей библиотеке (которая может насчитывать миллионы звуков) и преобразует его в нечто понятное для машины. radiotochki.net
2. Обработка естественного языка (Natural Language Processing, NLP). radiotochki.net Специальная языковая модель, обученная на гигантских объёмах текстов (статей, книг, описаний музыки), разбирает запрос на составные части. radiotochki.net
3. Сопоставление и выдача результатов (векторный поиск). radiotochki.net Система ищет звуковые векторы, которые находятся ближе всего к вектору текстового запроса. radiotochki.net

Например, если пользователь вводит запрос «грязный перегруженный кик для индастриал-техно», то система выдаёт релевантные результаты, даже если ни в одном из названий файлов или тегов этих слов нет. radiotochki.net

Некоторые сервисы, которые используют подобные алгоритмы: Shazam, SoundHound, Beatfind, Musixmatch. lenta.ru vc.ru