Как регуляризация помогает предотвратить переобучение в моделях машинного обучения?

Регуляризация помогает предотвратить переобучение в моделях машинного обучения, контролируя весовые коэффициенты модели. 3

Переобучение возникает, когда модель настолько точно подстраивается под обучающий набор данных, что начинает улавливать не только закономерности, но и случайный шум. 2 В результате модель показывает хорошие результаты на тренировочных данных, но плохие — на новых, ранее не виденных примерах. 2

Регуляризация накладывает на коэффициенты определённые ограничения. 2 Например:

• L2-регуляризация (Ridge) добавляет штраф, пропорциональный квадрату коэффициентов. 3 Это приводит к уменьшению их величины, но не делает нулевыми. 3
• L1-регуляризация (Lasso) добавляет штраф, пропорциональный абсолютному значению коэффициентов. 3 Это может привести к обнулению некоторых коэффициентов, что эффективно выполняет отбор признаков. 3

В результате модель меньше настраивается на шум в обучающих данных и, как следствие, показывает лучшие результаты на тестовой выборке. 5