Проблема переобучения нейронных сетей заключается в излишне точном соответствии модели конкретному набору обучающих примеров, из-за чего сеть теряет способность к обобщению. 1

Суть проблемы: модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к ним, вместо того чтобы учиться классифицировать примеры, не участвовавшие в обучении. 4

Некоторые причины переобучения:

• слишком долгое обучение; 1
• недостаточное число обучающих примеров; 1
• переусложнённая структура нейронной сети. 1

Признаки переобучения: высокая точность данных обучения, но значительно более низкая точность данных валидации или тестирования, производительность модели улучшается на обучающем наборе, но стагнирует или ухудшается на наборе проверки. 5

Чтобы избежать переобучения, можно использовать, например, применение тестового множества, где проверка модели происходит на примерах, не вызывающих корректировку весов сети. 2 Также помогает использование перекрёстной проверки и выбор конфигурации нейронной сети, где количество параметров модели должно быть в 2–3 раза меньше числа примеров обучающего множества. 2