Как работает технология размытия фона в видеоконференциях?

Технология размытия фона в видеоконференциях работает на основе искусственных нейронных сетей и глубокого обучения. trueconf.ru Они решают задачу отделения участника конференции от фона на изображении. trueconf.ru

Алгоритм работы: trueconf.ru

1. Получить видеопоток и разложить его на кадры. trueconf.ru
2. Отделить участника конференции от фона с помощью семантической сегментации. trueconf.ru Для этого сеть разделяет изображение на отдельные группы пикселей, соответствующие объектам, и классифицирует каждый из них. trueconf.ru
3. Заменить или размыть фон. trueconf.ru
4. Склеить полученную последовательность кадров в видеопоток и отправить его дальше. trueconf.ru

Например, в Google Meet решение для размытия фона сначала обрабатывает каждый видеокадр, отделяя пользователя от фона с помощью машинного обучения. habr.com Затем маска используется для рендеринга видеовыхода, а фон размывается или заменяется. habr.com

Работа размытия фона зависит от устройства и используемой операционной системы. www.3cx.ru Устаревшие или медленные машины могут испытывать сложности, потому что такая функция требует более высокую вычислительную мощность. www.3cx.ru