Технология распознавания жестов в современных игровых контроллерах устроена следующим образом: 1

1. Камеры и датчики улавливают движения частей тела, таких как руки или лицо. 1 Они собирают информацию о движении и местоположении тела или конечностей человека. 1
2. Анализ данных. 1 Компьютеры используют специальные программы и машинное обучение, чтобы определить, что означают эти движения, отслеживая и интерпретируя их в соответствии с определёнными командами или действиями. 1

Существует два подхода к распознаванию жестов на основе зрения: 2

1. Техника, основанная на модели. 2 Нейросеть создаёт трёхмерную модель руки пользователя. 2 Некоторые системы отслеживают движение жеста через набор критических позиций. 2 Когда жест проходит через те же критические позиции, что и сохранённый жест, система распознаёт его. 2
2. Методы на основе изображений. 2 Определяют жест путём захвата изображений движений пользователя во время выполнения жеста. 2 Система отправляет эти изображения в программное обеспечение компьютерного зрения, которое отслеживает их и идентифицирует жест. 2

Также существует система распознавания жестов SoundWave, принцип действия которой основан на восприятии звука, а не видеоизображения. 3 Система использует имеющиеся в ПК динамики для того, чтобы воспроизводить неслышимые человеком звуковые сигналы в диапазоне от 20 до 22 кГц. 3 При отражении от движущегося объекта звуковые волны изменяют свою частоту. 3 Микрофон в ПК улавливает это, а также скорость звуковой волны, её амплитуду, направление и изменение во времени. 3 На основании этой информации специальный алгоритм преобразует движения в жесты, которые могут быть использованы для управления объектами на экране. 3