Как работает система управления жестами в мессенджерах

Система управления жестами в мессенджерах работает на основе распознавания движений пользователя и запуска соответствующих функций. habr.com lifehacker.ru

Существуют разные подходы к распознаванию жестов на основе зрения: habr.com

• Техника, основанная на модели. habr.com Нейросеть создаёт трёхмерную модель руки пользователя. habr.com Система отслеживает движение жеста через набор критических позиций. habr.com Когда жест проходит через те же критические позиции, что и сохранённый жест, система распознаёт его. habr.com
• Методы на основе изображений. habr.com Система захватывает изображения движений пользователя во время выполнения жеста. habr.com Эти изображения отправляются в программное обеспечение компьютерного зрения, которое отслеживает их и идентифицирует жест. habr.com

В бытовых системах распознавания сложно однозначно идентифицировать жест. habr.com Поэтому активно применяют технологии искусственного интеллекта, которые обогащают данные. habr.com К примеру, помимо жеста учитывают также речь и даже тембр голоса. habr.com

В мессенджерах жесты могут выполнять разные функции, например:

• Быстрое закрытие чата. androidinsider.ru В Telegram для этого нужно провести пальцем по экрану слева направо. androidinsider.ru
• Быстрый ответ на сообщение. androidinsider.ru Нужно провести пальцем от сообщения влево, после чего можно ответить на него. androidinsider.ru Исходное сообщение появится в нижней части над строкой набора текста. androidinsider.ru
• Просмотр стикера перед отправкой. androidinsider.ru Нужно нажать на один из предложенных стикеров и подержать на нём палец. androidinsider.ru Стикер откроется в более крупном формате и будет анимирован. androidinsider.ru
• Реакции в видеосообщениях. lifehacker.ru В Telegram на iOS 17 технология распознаёт жесты, которые показывает пользователь, и запускает анимированный эффект. lifehacker.ru