Некоторые методы регуляризации, которые применяются для предотвращения переобучения в линейной регрессии:

• Гребневая регрессия. 2 Размер коэффициентов уменьшается, а переобучение предотвращается добавлением штрафного члена к функции затрат линейной регрессии. 2 Штрафной член регулирует величину коэффициентов в модели и пропорционален сумме квадратов коэффициентов. 2
• Лассо-регрессия. 12 В функцию затрат включается штрафной член, который суммирует абсолютные значения коэффициентов, а не сумму квадратов коэффициентов. 2 Это приводит к тому, что некоторые коэффициенты точно приближаются к нулю, что устраняет незначительные независимые переменные. 1
• Эластичная чистая регрессия. 1 Метод представляет собой комбинацию методов регрессии гребня и регрессии Лассо. 1 Это линейная комбинация штрафов как за регуляризацию нормы L1, так и за норму L2. 1

Выбор метода зависит от конкретной задачи и методов обучения. 4