Чем случайный лес отличается от градиентного бустинга?

Случайный лес и градиентный бустинг — методы ансамблевого обучения. habr.com Они имеют свои особенности и отличия.

Случайный лес — это группа деревьев решений, объединённых для выдачи одного результата. habr.com Обучение всех деревьев идёт независимо друг от друга, то есть параллельно. yandex.ru При голосовании во время прогнозирования или классифицирования все деревья имеют одинаковый вес. yandex.ru

Градиентный бустинг — это техника ансамблевого машинного обучения, которая использует последовательность слабых моделей для создания надёжной и точной модели. habr.com Обучение идёт последовательно: каждый следующий оценщик получает от предыдущего информацию, на каких образцах датасета этот предыдущий оценщик ошибся сильнее всего. yandex.ru Этим образцам придается более высокий вес в обучении текущего оценщика. yandex.ru

Таким образом, основное отличие в том, что в случайном лесу усредняются результаты деревьев решений, а в градиентном бустинге каждое последующее дерево оптимизируется и уменьшает ошибку предыдущего. yandex.ru