В чем заключается основная проблема обучения с учителем в машинном обучении?

Некоторые основные проблемы обучения с учителем в машинном обучении:

• Переобучение. 1 Модель слишком точно подстраивается под обучающую выборку и плохо обобщает новые данные. 1 Чтобы избежать этого, применяют методы регуляризации и кросс-валидацию, которая позволяет оценить качество модели на отложенной выборке. 1
• Недостаток размеченных данных. 3 Сбор и разметка данных требуют значительных ресурсов и времени, что может быть дорого и сложно доступно для многих компаний. 3
• Несоответствие между обучающими и реальными данными. 2 Например, если разработать модель обнаружения мошенничества по данным за прошлый год, то со временем преступники могут изменить тактику, и старая модель уже не сможет эффективно распознавать новые схемы обмана. 2
• Предвзятость. 2 Модели могут перенимать и даже усиливать существующие в данных предубеждения. 2
• Сложность применения к некоторым типам данных. 3 Обучение с учителем предполагает, что модель будет получать те же данные, что и обучающий набор, но этот подход может оказаться неэффективным при работе с более сложными и неопределёнными данными и параметрами. 3