Почему при ансамблировании ошибка на обучающей выборке всегда увеличивается?

Увеличение ошибки на обучающей выборке при ансамблировании может происходить из-за увеличения разброса. newtechaudit.ru

Ошибка метода обучения раскладывается на три компоненты: шум, смещение и разброс. newtechaudit.ru education.yandex.ru Разброс показывает, как сильно меняется модель в зависимости от выборки, на которой она обучается. newtechaudit.ru С добавлением каждой новой модели в ансамбле, например в бустинге, смещение в ошибке снижается, а разброс, наоборот, увеличивается. newtechaudit.ru

Чтобы уменьшить ошибку, нужно строить некоррелированные друг с другом базовые модели, которые по-разному ошибаются. newtechaudit.ru Также можно повысить разнообразие моделей, например, обучать их на разных подвыборках или ограничивать выбор признаков. newtechaudit.ru

Кроме того, важно отслеживать момент переобучения модели, так как после него модель уже не нужно обучать, а вредно, поскольку она начнёт ухудшать свою предсказательную силу. mlabs.space