Алгоритм построения дерева решений для задач регрессии заключается в последовательном, рекурсивном разбиении обучающего множества на подмножества с применением решающих правил в узлах. 13

Процесс разбиения продолжается до тех пор, пока все узлы в конце всех ветвей не будут объявлены листьями. 3 Объявление узла листом может произойти естественным образом (когда он будет содержать единственный объект или объекты только одного класса) или по достижении некоторого условия остановки, задаваемого пользователем (например, минимально допустимое число примеров в узле или максимальная глубина дерева). 3

В узлах находятся решающие правила, и производится проверка соответствия примеров этому правилу по какому-либо атрибуту обучающего множества. 3 В простейшем случае, в результате проверки, множество примеров, попавших в узел, разбивается на два подмножества, в одно из которых попадают примеры, удовлетворяющие правилу, а в другое — не удовлетворяющие. 3

Затем к каждому подмножеству вновь применяется правило, и процедура рекурсивно повторяется, пока не будет достигнуто некоторое условие остановки алгоритма. 3

Для дерева регрессии лист определяет решение для каждого попавшего в него примера — соответствующий листу модальный интервал целевой переменной. 13

Чтобы попасть в лист, пример должен удовлетворять всем правилам, лежащим на пути к этому листу. 3 Поскольку путь в дереве к каждому листу единственный, то и каждый пример может попасть только в один лист, что обеспечивает единственность решения. 3