Распознавание жестов на iPhone с помощью машинного обучения происходит благодаря технологии Apple Vision. 1

Процесс включает несколько этапов: 2

1. Система видит картинку через камеру, считывает её и получает цифровое матричное изображение. 2 Чтобы система могла увидеть движущуюся ладонь, она должна находиться на заданном расстоянии от устройства. 2 Так алгоритм отсеивает с изображения объекты, которые не нужно анализировать. 2
2. Компьютер начинает обработку полученной информации — запускаются различные вычислительные процессы, которые позволяют получить необходимые для анализа данные. 2
3. Нейросети приступают к анализу — выделяют объект для обработки и в зависимости от выбранного принципа анализа модель выделяет пиксели, контуры, обнаруживает ключевые точки, сравнивает объекты с шаблонами. 2
4. После этого модель классифицирует и сегментирует полученные данные. 2

Чтобы распознать пальцы и ладони, машина должна изучить несколько точек в трёхмерной проекции. 2 Она оценивает глубину, высоту и длину каждой из них, сопоставляет их положение. 2 По точкам определяется позиция каждого пальца, формируется их векторное представление. 2

На основе полученных данных нейросеть классифицирует выявленные закономерности, сравнивает наблюдаемый жест со своими внутренними представлениями различных жестов и делает вывод. 2 Поскольку этот механизм ещё и самообучаемый, то ему удаётся распознавать не только заранее сформированный перечень действий и жестов, но и кардинально новые, характерные для конкретного пользователя. 1