Почему L1 и L2 регуляризация важна для предотвращения переобучения модели?

L1 и L2 регуляризация важны для предотвращения переобучения модели, потому что они вводят дополнительные ограничения или штрафы на величину и/или сложность модели. 1

L1 регуляризация добавляет к функции потерь модели штраф, равный сумме абсолютных значений коэффициентов (весов) модели. 1 Это позволяет убрать неинформативные признаки из модели, что уменьшает её сложность и улучшает обобщающую способность. 3

L2 регуляризация добавляет штраф, пропорциональный квадрату величины весов модели. 1 Путём уменьшения величины весов она помогает снизить дисперсию модели, что делает её менее чувствительной к отдельным точкам данных и таким образом уменьшает риск переобучения. 1

Кроме того, L2 регуляризация полезна в ситуациях, когда количество признаков в данных велико или когда они сильно коррелированы. 1 Она помогает справляться с мультиколлинеарностью, сохраняя все признаки, но уменьшая их влияние. 1