Почему важно проверять модель на отложенных данных при обучении нейронной сети?

Проверка модели на отложенных данных при обучении нейронной сети важна по нескольким причинам:

• Оценка обобщающей способности. proproprogs.ru Модель должна показывать хорошие результаты не только на обучающей выборке, но и обобщаться на другие наблюдения, которые отсутствовали при обучении. proproprogs.ru
• Определение переобученности. proproprogs.ru Если показатели на обучающей и тестовой выборках близки, то модель считается приемлемой. proproprogs.ru В противном случае она считается переобученной, и её следует скорректировать. proproprogs.ru
• Проверка качества предсказаний. sabatovsky.com Для этого используют метрики оценки, такие как точность, полнота, F1-мера и другие. sabatovsky.com

Однако у такого подхода есть и недостаток: оценка качества зависит от способа разбиения выборки на обучающую и отложенную. proproprogs.ru Может получиться так, что на обеих выборках модель покажет хорошие результаты, а на практике качество будет заметно ниже. proproprogs.ru