Как работают технологии распознавания музыки в современных видеосервисах?

Технологии распознавания музыки в современных видеосервисах работают на основе автоматической программы. www.kinopoisk.ru Она собирает максимум доступной информации о фильме и музыке в нём, находит музыкальные фрагменты, распознаёт музыку и перепроверяет себя. www.kinopoisk.ru

Например, в «Кинопоиске» для распознавания музыки в кадре Deep Dive нужно: www.kinopoisk.ru

1. Разметить аудиодорожку фильма и выбрать все фрагменты, когда играет музыка. www.kinopoisk.ru
2. Сопоставить эти фрагменты с базой «Яндекс Музыки» и найти подходящие треки. www.kinopoisk.ru
3. Проверить, нет ли ошибки в выборе трека, и выдать зрителю информацию о музыкальной композиции вместе с именем исполнителя и обложкой. www.kinopoisk.ru

Когда алгоритм не уверен в том, правильно ли он распознал трек, он присылает человеку запрос на проверку — кусочек аудиодорожки фильма и трек в «Яндекс Музыке», который на него похож. www.kinopoisk.ru А человек отмечает, узнала ли программа мелодию. www.kinopoisk.ru

Также для распознавания музыки из видео можно использовать онлайн-сервисы, например Midomi, AudioTag или AHA Music. lenta.ru hi-tech.mail.ru