Чем отличается автоматическое распознавание музыкальных треков в видео от ручной разметки?

Автоматическое распознавание музыкальных треков в видео отличается от ручной разметки тем, что первый процесс выполняется с помощью специальных алгоритмов, а второй — человеком.

Автоматическое распознавание включает в себя идентификацию аудиофрагментов: нейросеть определяет, где звучит музыка. education.yandex.ru Затем этот участок вырезается и передаётся другой модели, которая строит его спектрограмму (анализирует тоны и обертоны) и сопоставляет её с известными треками. education.yandex.ru

Ручная разметка требуется, например, в случаях, когда алгоритм не уверен в том, правильно ли он распознал трек. www.kinopoisk.ru В таком случае программа присылает человеку запрос на проверку — кусочек аудиодорожки фильма и трек в базе данных, который на него похож. www.kinopoisk.ru А человек отмечает, узнала ли программа мелодию. www.kinopoisk.ru

Таким образом, благодаря автоматическим алгоритмам доля ручной работы значительно сокращается. education.yandex.ru При этом автоматика не всегда справляется с задачей: иногда саундтрек играет на фоне разговора или шумной сцены, и программа не распознаёт музыку за посторонними звуками. www.kinopoisk.ru