Разница между border-radius и border-style при создании эффектов теней заключается в их функциях.

Border-radius устанавливает радиус скругления уголков рамки. 2 Если для элемента с тенью задан border-radius, то отбрасываемая тень также будет с закруглёнными углами. 1

Border-style определяет стиль границ элемента. 4 Некоторые значения свойства: none (нет границ), dotted (граница в виде точек), dashed (граница в виде штрихов) и другие. 5

Таким образом, border-radius фокусируется на скруглении границ, а border-style — на внешнем виде границ элемента.