Некоторые методы, которые используются для проверки обобщающей способности моделей:
- Скользящий контроль (leave-one-out). 1 Из всей выборки убирают поочерёдно по одному вектору наблюдений и обучаются каждый раз на оставшейся выборке. 1 В итоге получается множество разных моделей, на основе которых формируют общую модель с лучшими обобщающими способностями. 1
- Кросс-валидация (cross-validation). 14 Вся выборка разбивается на отдельные группы наблюдений, и на каждой итерации одна группа используется как проверочная, а другие составляют обучающее множество. 1 Для каждого обучающего набора формируется своя модель. 1
- Тестовая выборка. 23 Для проверки обобщающей способности модели используется тестовое множество, формируемое из примеров обучающей выборки, не использовавшихся в процессе обучения. 3 Если модель обеспечивает низкую выходную ошибку как на обучающем, так и на тестовом множестве, то с высокой долей уверенности можно утверждать, что она приобрела обобщающую способность. 3