Какие существуют методы обрезки дерева решений?

Методы обрезки дерева решений можно разделить на две группы: yandex.ru

1. Методы предварительной обрезки. yandex.ru Подразумевают остановку роста дерева решений в процессе обучения на основе определённых заранее критериев. nuancesprog.ru Этот подход направлен на предотвращение излишней сложности дерева, чтобы оно не перестало соответствовать обучающим данным. nuancesprog.ru К распространённым техникам предварительной обрезки относятся: nuancesprog.ru

• Максимальная глубина (maximum depth) — ограничение глубины роста дерева. nuancesprog.ru
• Минимальное количество образцов для разбиения (minimum samples for split) — требование минимального количества образцов для обоснования разбиения узла. nuancesprog.ru
• Минимальное количество образцов на лист (minimum samples per leaf) — обеспечение того, чтобы каждый листовой узел имел по крайней мере определённое количество образцов. nuancesprog.ru
• Максимальное количество узлов листа (maximum number of leaf nodes) — ограничение общего числа листовых узлов в дереве. nuancesprog.ru
• Минимальное уменьшение примесей (minimum impurity decrease) — разрешение только тех разделений, которые уменьшают примесь (включения) на заданную величину. nuancesprog.ru

1. Методы последующей обрезки. nuancesprog.ru Позволяют дереву решений разрастаться в полную силу, а затем обрезаются для снижения сложности. nuancesprog.ru При таком подходе сначала создаётся полное дерево, а затем удаляются или сворачиваются ветви, которые не вносят существенного вклада в производительность модели. nuancesprog.ru Одна из распространённых техник последующей обрезки называется обрезкой с учётом сложности и потерь (cost-complexity pruning). nuancesprog.ru

Выбор между предварительной и последующей обрезкой (или их сочетанием) зависит от конкретного набора данных, поставленной задачи и доступных вычислительных ресурсов. nuancesprog.ru