Почему решающие деревья плохо поддаются оптимизации?

Несколько причин, по которым решающие деревья могут плохо поддаваться оптимизации:

• Сложность оптимизационной задачи выбора разбивающего признака. angel.cs.msu.su Она требует оптимизации дискретной мультимодальной функции и зачастую решается полным перебором по всему множеству признаков. angel.cs.msu.su
• Большое время обучения. angel.cs.msu.su Процесс нужно повторять на каждой итерации бустинга для каждого внутреннего узла дерева, что может занимать много времени (до нескольких недель в классических работах). angel.cs.msu.su

Однако для решения этой задачи можно использовать генетические и эволюционные алгоритмы. angel.cs.msu.su

Также стандартные решающие деревья рассматривают разбиения параллельно одной из осей координат, так как в каждом узле происходит проверка условия: больше или меньше заданный признак определённого порогового значения. www.machinelearning.ru Например, если реальная граница между классами линейная, то придётся сделать достаточно большое количество разбиений, чтобы построить хорошую модель. www.machinelearning.ru