Как работает leaf-wise стратегия построения деревьев в библиотеке LightGBM?

Leaf-wise стратегия построения деревьев в библиотеке LightGBM заключается в том, что вместо расширения дерева слой за слоем алгоритм выбирает лист, в котором уменьшение функции потерь сильнее, чем в остальных. apxml.com habr.com Этот лист затем разбивают и продолжают процесс: находят лист с максимальным потенциальным уменьшением потерь и разбивают его. apxml.com

Пример работы стратегии: apxml.com

1. Находят лучшее разбиение корневого узла. apxml.com Теперь есть два листа. apxml.com
2. Оценивают потенциальное уменьшение потерь от разбиения каждого из этих листьев. apxml.com Допустим, разбиение левого листа даёт большее уменьшение потерь, чем разбиение правого. apxml.com
3. Разбивают левый лист. apxml.com Теперь есть три листа. apxml.com
4. Снова оценивают потенциальный выигрыш от разбиения любого из этих трёх листьев и разбивают тот, который обещает лучшее улучшение. apxml.com

Преимущества leaf-wise стратегии:

• Более сбалансированная и точная структура дерева. dataaspirant.com Выбирается разбиение, которое оказывает наибольшее влияние на общую функцию потерь. dataaspirant.com
• Снижение вычислительных затрат при построении дерева, так как не требуется оценивать все возможные разбиения на каждом уровне. dataaspirant.com

Главный недостаток leaf-wise стратегии — тенденция к созданию глубоких, потенциально несбалансированных деревьев и повышенный риск переобучения, особенно на небольших наборах данных. apxml.com