Какие математические структуры позволяют создавать вложенные иерархии множеств?

Возможно, имелись в виду коллекции вложенных наборов — коллекции множеств, состоящие из цепочек подмножеств и образующие иерархическую структуру. en.wikipedia.org

Некоторые технические подходы, которые используют это понятие:

• Модель вложенного множества (англ. Nested set model). en.wikipedia.org ru.ruwiki.ru Это способ представления вложенных множеств (деревьев или иерархий) в реляционных базах данных. en.wikipedia.org ru.ruwiki.ru
• Модель вложенных интервалов. ru.ruwiki.ru Хранит положение узлов в виде рациональных чисел, выраженных как коэффициенты. ru.ruwiki.ru
• Список смежности. ru.ruwiki.ru Иерархию выражают как отношение «родитель — потомок». ru.ruwiki.ru

Также для описания иерархических структур используют понятия классификационных иерархий и субординационных иерархий. cyberleninka.ru Классификационные иерархии образуются как надстройка над базовыми элементами системы, субординационные — строятся на основе подчинённости одних элементов другими. cyberleninka.ru