В слове «рьяный» пишется мягкий знак, потому что согласная «р» в нём не является приставкой, а по правилу разделительный мягкий знак пишется после «р» и перед гласной «я». 1

Это правило основано на том, что разделительный мягкий знак пишется в корнях, суффиксах и окончаниях перед буквами «е», «ё», «ю», «я» (независимо от того, русское слово или иноязычное). 3