Почему при ансамблировании ошибка на обучающей выборке всегда увеличивается?

Увеличение ошибки на обучающей выборке при ансамблировании может происходить из-за увеличения разброса. 1

Ошибка метода обучения раскладывается на три компоненты: шум, смещение и разброс. 15 Разброс показывает, как сильно меняется модель в зависимости от выборки, на которой она обучается. 1 С добавлением каждой новой модели в ансамбле, например в бустинге, смещение в ошибке снижается, а разброс, наоборот, увеличивается. 1

Чтобы уменьшить ошибку, нужно строить некоррелированные друг с другом базовые модели, которые по-разному ошибаются. 1 Также можно повысить разнообразие моделей, например, обучать их на разных подвыборках или ограничивать выбор признаков. 1

Кроме того, важно отслеживать момент переобучения модели, так как после него модель уже не нужно обучать, а вредно, поскольку она начнёт ухудшать свою предсказательную силу. 2