Да, в OBS для захвата камеры можно использовать видео в качестве альфа-маски. 1
Для этого в программе есть фильтр «Маска изображения/Смешивание» (Image Mask/Blend), который позволяет использовать канал цвета или канал прозрачности изображения для маскировки или смешивания изображений (умножение, добавление, вычитание) в сценах или источниках. 4