Как работает функция определения актеров в современных приложениях для поиска фильмов?

Функция определения актёров в современных приложениях для поиска фильмов работает на основе нейросетевых алгоритмов распознавания лиц. mts.ai

Например, в онлайн-кинотеатре KION для этого специалисты по компьютерному зрению предоставили список фильмов и имён актёров, которых нужно было распознать на видео, а также сам контент. mts.ai Параллельно они собрали датасет из фотографий с селебрити, откуда удалили все неподходящие варианты — например, изображения других людей или те снимки, на которых более одного человека. mts.ai

Затем собранные фотографии загрузили в LUNA Platform — решение для распознавания лиц, созданное VisionLabs — портфельной компанией MTS AI. mts.ai Алгоритмы присвоили каждому из лиц вектора-дескрипторы и затем объединили их в кластеры. mts.ai Таким образом, разработчики получили фотографии актёров, которых нужно было найти в фильме. mts.ai

После с помощью LUNA Platform проанализировали все выбранные фильмы и сериалы. mts.ai Алгоритмы платформы выделили лица в каждом кадре, присвоили им вектора-дескрипторы, а затем сравнили их с векторами-дескрипторами актёров, которых нужно было найти в кадре. mts.ai Так специалисты получили по каждому кадру информацию о том, есть ли там искомый актёр и что это за актёр. mts.ai

Полученные данные объединили в JSON-файл и отправили в базу данных онлайн-кинотеатра. mts.ai

Также в сервисе «КиноПоиск» распознавание актёров выполняет технология DeepDive, в основе которой лежат алгоритмы компьютерного зрения «Яндекса» и собственные разработки «КиноПоиска» в области машинного обучения. www.kinopoisk.ru rozetked.me Для распознавания эта технология использует данные об актёрах из энциклопедии «КиноПоиска». www.kinopoisk.ru Чтобы выполнить распознавание, достаточно нажать на паузу. www.kinopoisk.ru DeepDive моментально проанализирует изображение и покажет карточки с именами актёров, которые находятся в кадре. www.kinopoisk.ru