Как работает распознавание жестов на iPhone с помощью машинного обучения?

Распознавание жестов на iPhone с помощью машинного обучения происходит благодаря технологии Apple Vision. dzen.ru

Процесс включает несколько этапов: developers.sber.ru

1. Система видит картинку через камеру, считывает её и получает цифровое матричное изображение. developers.sber.ru Чтобы система могла увидеть движущуюся ладонь, она должна находиться на заданном расстоянии от устройства. developers.sber.ru Так алгоритм отсеивает с изображения объекты, которые не нужно анализировать. developers.sber.ru
2. Компьютер начинает обработку полученной информации — запускаются различные вычислительные процессы, которые позволяют получить необходимые для анализа данные. developers.sber.ru
3. Нейросети приступают к анализу — выделяют объект для обработки и в зависимости от выбранного принципа анализа модель выделяет пиксели, контуры, обнаруживает ключевые точки, сравнивает объекты с шаблонами. developers.sber.ru
4. После этого модель классифицирует и сегментирует полученные данные. developers.sber.ru

Чтобы распознать пальцы и ладони, машина должна изучить несколько точек в трёхмерной проекции. developers.sber.ru Она оценивает глубину, высоту и длину каждой из них, сопоставляет их положение. developers.sber.ru По точкам определяется позиция каждого пальца, формируется их векторное представление. developers.sber.ru

На основе полученных данных нейросеть классифицирует выявленные закономерности, сравнивает наблюдаемый жест со своими внутренними представлениями различных жестов и делает вывод. developers.sber.ru Поскольку этот механизм ещё и самообучаемый, то ему удаётся распознавать не только заранее сформированный перечень действий и жестов, но и кардинально новые, характерные для конкретного пользователя. dzen.ru

Пользователь

Время добавления