Проблема переобучения в машинном обучении заключается в том, что модель слишком хорошо усваивает обучающие данные. 1 Она запоминает не только лежащие в их основе закономерности, но также шумы и флуктуации, присутствующие в этом конкретном наборе данных. 1 Это приводит к тому, что при работе с новыми, ранее невиданными данными модель работает плохо. 14

Некоторые причины переобучения:

• Слишком сложная модель. 4 Если у модели слишком много параметров по сравнению с размером тренировочного набора, она может запомнить все особенности тренировочных данных, вместо того чтобы выявить общие закономерности. 4
• Недостаточный размер тренировочного набора. 4 Если данных для обучения мало, модель может «подстроиться» под конкретные примеры, не улавливая общую картину. 4
• Наличие шума в данных. 4 Случайные или нерелевантные данные могут ввести модель в заблуждение и привести к переобучению. 4
• Длительное обучение. 4 Если модель обучается слишком долго, она может начать «запоминать» шум и особенности тренировочных данных. 4