Чтобы сделать рамку с закруглёнными внутрь углами в Photoshop, можно воспользоваться следующим алгоритмом: 2

1. Выбрать инструмент «Прямоугольник со скруглёнными углами» (клавиша: U). 2
2. В настройках установить тип «Контур» и поставить радиус округления краёв. 2 Чем больше фотография, тем больше значение нужно выставить. 2
3. Нажать ПКМ и выбрать «Выделить область». 2 Настройки оставить по умолчанию. 2
4. Чтобы выделение было по рамке, а не по рисунку в центре, применить команду «Выделение» — «Инверсия». 2 Быстрее всего использовать кнопки: Shift + Ctrl + I. 2
5. Создать новый слой и залить его любым цветом. 2
6. Убрать выделение, нажав Ctrl + D. 2
7. Дважды нажать левой кнопкой мыши по слою с рамкой. 2 Теперь можно применить к нему различные стили, например «Теснение», «Контур» и «Текстура». 2

Также в графическом редакторе GIMP для создания рамки с внутренними скруглёнными углами можно использовать фильтр «Frame [round]» мега-расширения G'MIC, а для скругления внешних углов — штатный фильтр «Скруглённые углы». 1