Регуляризация влияет на построение линейных регрессионных моделей, помогая предотвратить переобучение и снизить сложность модели. 14

Некоторые способы влияния регуляризации:

• Лассо-регуляризация (L1) способствует разреженности модели, что помогает в отборе значимых признаков и упрощает интерпретацию результатов. 2 В процессе построения модели с использованием L1-регуляризации некоторые весовые значения могут оказаться нулевыми. 2 Это позволяет исключить признаки, которые слабо влияют на целевую переменную, и тем самым способствует упрощению модели и улучшению её обобщающей способности. 2
• Ридж-регуляризация (L2) наказывает большие веса и тем самым способствует сглаживанию модели, что может улучшить её стабильность и обобщение. 2 В отличие от L1, построение Ridge-регрессии не приводит к обнулению ни одного из параметров модели, но позволяет повысить её устойчивость. 2

В целом регуляризация приводит к тому, что модель меньше настраивается на шум (излишнюю вариативность) в обучающих данных и, как следствие, показывает лучшие результаты на тестовой выборке. 5