Разница между bagging и boosting для ансамблей заключается в следующем:

1. Bagging обучает каждую базовую модель независимо и параллельно. 2 Для этого исходный датасет делят на несколько подмножеств, а затем создают базовую модель на каждой из них. 4 Окончательное предсказание выполняют путём усреднения прогнозов всех базовых моделей. 2
2. Boosting обучает модели последовательно. 2 При этом каждая последующая модель фокусируется на исправлении ошибок, допущенных предыдущей. 2 Корректируются веса обучающих экземпляров, чтобы определить приоритетность трудноклассифицируемых примеров, тем самым уменьшая предвзятость и повышая точность прогнозирования. 2

Таким образом, bagging уменьшает дисперсию за счёт усреднения нескольких моделей, а boosting последовательно улучшает прогнозы, фокусируясь на ошибках. 2