Случайный лес и градиентный бустинг — методы ансамблевого обучения. 2 Они имеют свои особенности и отличия.

Случайный лес — это группа деревьев решений, объединённых для выдачи одного результата. 2 Обучение всех деревьев идёт независимо друг от друга, то есть параллельно. 1 При голосовании во время прогнозирования или классифицирования все деревья имеют одинаковый вес. 1

Градиентный бустинг — это техника ансамблевого машинного обучения, которая использует последовательность слабых моделей для создания надёжной и точной модели. 2 Обучение идёт последовательно: каждый следующий оценщик получает от предыдущего информацию, на каких образцах датасета этот предыдущий оценщик ошибся сильнее всего. 1 Этим образцам придается более высокий вес в обучении текущего оценщика. 1

Таким образом, основное отличие в том, что в случайном лесу усредняются результаты деревьев решений, а в градиентном бустинге каждое последующее дерево оптимизируется и уменьшает ошибку предыдущего. 1