Как регуляризация помогает предотвратить переобучение в моделях машинного обучения?

Регуляризация помогает предотвратить переобучение в моделях машинного обучения, контролируя весовые коэффициенты модели. habr.com

Переобучение возникает, когда модель настолько точно подстраивается под обучающий набор данных, что начинает улавливать не только закономерности, но и случайный шум. sky.pro В результате модель показывает хорошие результаты на тренировочных данных, но плохие — на новых, ранее не виденных примерах. sky.pro

Регуляризация накладывает на коэффициенты определённые ограничения. sky.pro Например:

• L2-регуляризация (Ridge) добавляет штраф, пропорциональный квадрату коэффициентов. habr.com Это приводит к уменьшению их величины, но не делает нулевыми. habr.com
• L1-регуляризация (Lasso) добавляет штраф, пропорциональный абсолютному значению коэффициентов. habr.com Это может привести к обнулению некоторых коэффициентов, что эффективно выполняет отбор признаков. habr.com

В результате модель меньше настраивается на шум в обучающих данных и, как следствие, показывает лучшие результаты на тестовой выборке. www.dmitrymakarov.ru