В чем разница между модификациями и кастомками?

Возможно, имелись в виду различия между понятиями «модификация» и «кастом».

Модификация — это создание новой версии продукта. vk.com Например, у игры может быть множество модификаций, которые меняют, например, уклон взаимодействия между пользователями. www.cybersport.ru

Кастом (от англ. custom — изготовленный на заказ) — это продукт, который изменён внешним видом. vk.com Обычно это переделанные серийные модели, которые сделаны под нужды конкретного человека. vk.com Например, кастомный мотоцикл — это переделанная серийная модель, которая максимально соответствует представлениям владельца о транспорте. ru.wikipedia.org

Таким образом, разница между модификациями и кастомками в том, что модификация связана с созданием нового продукта, а кастом — с изменением внешнего вида существующего.