Как работает распознавание жестов в современных голосовых помощниках?

Распознавание жестов в современных голосовых помощниках работает с помощью алгоритмов компьютерного зрения и моделей машинного обучения. www.uplab.ru

Процесс включает несколько этапов: developers.sber.ru

1. Система видит картинку через камеру, считывает её и получает цифровое матричное изображение. developers.sber.ru Чтобы система могла увидеть движущуюся ладонь, она должна находиться на заданном расстоянии от устройства. developers.sber.ru Так алгоритм отсеивает с изображения объекты, которые не нужно анализировать. developers.sber.ru
2. Компьютер начинает обработку полученной информации — запускаются различные вычислительные процессы, которые позволяют получить необходимые для анализа данные. developers.sber.ru
3. Нейросети приступают к анализу — выделяют объект для обработки и в зависимости от выбранного принципа анализа модель выделяет пиксели, контуры, обнаруживает ключевые точки, сравнивает объекты с шаблонами. developers.sber.ru
4. После этого модель классифицирует и сегментирует полученные данные. developers.sber.ru

Чтобы распознать пальцы и ладони, машина должна изучить несколько точек в трёхмерной проекции. developers.sber.ru Она оценивает глубину, высоту и длину каждой из них, сопоставляет их положение. developers.sber.ru По точкам определяется позиция каждого пальца, формируется их векторное представление. developers.sber.ru

На основе полученных данных нейросеть классифицирует выявленные закономерности, сравнивает наблюдаемый жест со своими внутренними представлениями различных жестов и делает вывод. developers.sber.ru

Пользователь

Время добавления