Как работает технология распознавания жестов в групповых видеозвонках?

Технология распознавания жестов в групповых видеозвонках работает на основе моделей машинного обучения. developers.sber.ru

Процесс происходит в режиме реального времени в рамках видеосвязи с умным девайсом через камеру. developers.sber.ru Чтобы система могла увидеть движущуюся ладонь, она должна находиться на заданном расстоянии от устройства. developers.sber.ru Так алгоритм отсеивает с изображения объекты, которые не нужно анализировать. developers.sber.ru

Чтобы распознать пальцы и ладони, машина должна изучить несколько точек в трёхмерной проекции. developers.sber.ru Она оценивает глубину, высоту и длину каждой из них, сопоставляет их положение. developers.sber.ru По точкам определяется позиция каждого пальца, формируется их векторное представление. developers.sber.ru

На основе полученных данных нейросеть классифицирует выявленные закономерности, сравнивает наблюдаемый жест со своими внутренними представлениями различных жестов и делает вывод. developers.sber.ru

Например, в сервисе видеоконференцсвязи Google Meet функция распознавания жестов позволяет распознавать, когда рука поднимается к камере во время группового видеозвонка, и предупреждать ведущего. www.theverge.com