Почему L1 и L2 регуляризация важна для предотвращения переобучения модели?

L1 и L2 регуляризация важны для предотвращения переобучения модели, потому что они вводят дополнительные ограничения или штрафы на величину и/или сложность модели. habr.com

L1 регуляризация добавляет к функции потерь модели штраф, равный сумме абсолютных значений коэффициентов (весов) модели. habr.com Это позволяет убрать неинформативные признаки из модели, что уменьшает её сложность и улучшает обобщающую способность. python-school.ru

L2 регуляризация добавляет штраф, пропорциональный квадрату величины весов модели. habr.com Путём уменьшения величины весов она помогает снизить дисперсию модели, что делает её менее чувствительной к отдельным точкам данных и таким образом уменьшает риск переобучения. habr.com

Кроме того, L2 регуляризация полезна в ситуациях, когда количество признаков в данных велико или когда они сильно коррелированы. habr.com Она помогает справляться с мультиколлинеарностью, сохраняя все признаки, но уменьшая их влияние. habr.com