Математический алгоритм построения произвольного дерева заключается в рекурсивном разбиении множества объектов из обучающей выборки на подмножества, содержащие объекты, относящиеся к одинаковым классам. 1

На первом шаге формируется «пустое» дерево, которое состоит только из корневого узла, содержащего всё обучающее множество. 2

Далее требуется разбить корневой узел на подмножества, из которых будут сформированы узлы-потомки. 2 Для этого выбирается один из атрибутов и формируются правила, которые разбивают обучающее множество на подмножества, число которых равно количеству уникальных значений атрибута. 2

Затем эта процедура рекурсивно применяется ко всем подмножествам до тех пор, пока не будет выполнено условие остановки обучения. 2

Например, в алгоритме CART на каждом шаге построения дерева алгоритм последовательно сравнивает все возможные разбиения для всех атрибутов и выбирает наилучший атрибут и наилучшее разбиение для него. 34