Аннотация @Transactional в Spring влияет на обработку исключений следующим образом: 2

• RuntimeException приводят к откату транзакции, checked exception — нет. 2
• RuntimeException приводят к откату транзакции в момент, когда исключение пересекает границы @Transactional-метода. 2 Даже если перехватить это исключение выше по стеку, транзакция всё равно откатится. 2

По умолчанию Spring откатывает транзакцию только для непроверенных исключений (RuntimeException и их подклассов). 35 Для проверенных исключений и их подклассов транзакция фиксируется. 3

Этим поведением можно управлять через атрибуты rollbackFor и noRollbackFor у аннотации @Transactional. 2