Несколько возможных причин, по которым NVENC может не справляться с высокими разрешениями видео:

• Разрешение выше 4096. 1 В NVENC невозможно работать с разрешением выше этого значения. 1 Чтобы решить проблему, нужно установить выходное разрешение на значение ниже 4096 и начать запись. 1
• Увеличение выходного разрешения. 2 Это увеличивает нагрузку на кодировщик и требует больше ресурсов GPU. 2

Для решения проблемы можно попробовать следующие шаги:

• Изменить приоритет OBS. 1 Для этого нужно открыть «Диспетчер задач», щёлкнуть правой кнопкой мыши на процессе OBS и выбрать «Установить приоритет» — «Выше обычного». 1
• Уменьшить разрешение выходного экрана и частоту кадров. 1 Для этого в OBS Studio нужно нажать на кнопку «Настройки», перейти на вкладку «Вывод» и уменьшить выходное (масштабированное) разрешение, а затем общие значения FPS. 1
• Обновить драйверы видеокарты. 12 Последнюю версию можно скачать на официальном сайте NVIDIA. 2

Если проблема сохраняется, рекомендуется обратиться в поддержку программы.