В слове «костяной» пишется одна буква «н» из-за суффикса «ян-», с помощью которого образовано прилагательное от существительного «кость». 12

По правилам русского языка, прилагательные, образованные от существительных с помощью суффиксов «ан», «ян», «ин», пишутся с одной буквой «н». 1