Как можно определить, что модель машинного обучения склонна к переобучению?

Несколько признаков, которые могут указывать на склонность модели машинного обучения к переобучению:

• Дисбаланс производительности. 1 Модель демонстрирует высокую точность на обучающем наборе данных, но существенно ошибается при работе с тестовыми данными. 1
• Слишком сложные границы решений. 1 Визуальный анализ границ решений может указывать на переобучение: если они выглядят избыточно изогнутыми или «капризными», модель может слишком усердно пытаться адаптироваться к каждой точке данных. 1
• Стагнация или ухудшение производительности на валидационных данных. 1 В начальной стадии обучения производительность модели на валидационных данных, как правило, улучшается. 1 Однако с течением времени этот прогресс может замедлиться или даже начать ухудшаться, в то время как на обучающих данных показатели продолжат расти. 1
• Значительные колебания в производительности при небольших изменениях в обучающем наборе. 1 Если небольшие изменения или вариации в обучающих данных приводят к существенным колебаниям в результатах модели, это может свидетельствовать о её чрезмерной чувствительности. 1

Для выявления переобучения также используют методы, такие как перекрёстная проверка (разделение данных на подмножества и обучение модели на разных комбинациях этих подмножеств) и кривые обучения (отображают ошибку обучения и проверки в зависимости от размера обучающего набора). 12