Разница между Sorting Layer и Rendering Layer Mask в Unity заключается в их функциях. 1
Sorting Layer используется для настройки порядка отрисовки объектов в проекте по умолчанию. 1 С помощью этой функции можно указать, какие из перекрывающихся графических элементов должны отображаться первыми. 4 Sorting Layer доступен только для 2D-проектов. 1
Rendering Layer Mask применяется для работы с пользовательскими командами отрисовки. 1 С помощью этой маски можно отфильтровать рендереры во время ручных команд отрисовки. 1
Таким образом, Sorting Layer ориентирован на базовый процесс отрисовки, а Rendering Layer Mask — на более продвинутые задачи с использованием пользовательских команд.