Какие существуют методы построения и анализа деревьев решений в машинном обучении?

Некоторые методы построения и анализа деревьев решений в машинном обучении:

Для построения деревьев решений используют, например:

• Алгоритм ID3. ru.wikipedia.org sky.pro Его главная идея — последовательное разделение данных по признаку, дающему наибольший информационный выигрыш. sky.pro
• Алгоритм C4.5. ru.wikipedia.org Улучшенная версия ID3, в которой выбор признака происходит на основании нормализованного прироста информации. ru.wikipedia.org
• Алгоритм CART и его модификации — IndCART, DB-CART. ru.wikipedia.org
• Автоматический детектор взаимодействия Хи-квадрат (CHAID). ru.wikipedia.org Выполняет многоуровневое разделение при расчёте классификации деревьев. ru.wikipedia.org
• MARS. ru.wikipedia.org Расширяет деревья решений для улучшения обработки цифровых данных. ru.wikipedia.org

Для анализа деревьев решений используют, например:

• Бэггинг. gb.ru ru.wikipedia.org Включает в себя создание нескольких деревьев решений для анализа повторной выборки исходных данных. gb.ru На основе полученных результатов формулируется единое решение заданного вопроса. gb.ru
• Метод случайного леса. gb.ru Несколько деревьев применяются для увеличения количества успешно классифицированных объектов. gb.ru
• Бустинг. gb.ru ru.wikipedia.org Используется в отношении регрессионных и классификационных деревьев. gb.ru
• «Вращение леса». ru.wikipedia.org Деревья, в которых каждое дерево решений анализируют первым применением метода главных компонент (PCA) на случайные подмножества входных функций. ru.wikipedia.org

Для оценки качества дерева решений используют, например, такие метрики: sky.pro

• Для классификации: точность (accuracy), precision, recall, F1-мера, AUC-ROC. sky.pro
• Для регрессии: RMSE (root mean squared error), MAE (mean absolute error), R² (коэффициент детерминации). sky.pro