Разница между Lasso и Ridge регуляризацией заключается в типе применяемого штрафа: 2

• Lasso-регуляризация накладывает штраф на L1-норму бета-вектора (сумма абсолютных значений). 1 Это заставляет лассо-регрессию обнулять некоторые коэффициенты в бета-векторе. 1
• Ридж-регуляризация накладывает штраф на L2-норму бета-вектора (квадратный корень из суммы квадратов значений). 1 Благодаря этому, ридж-регрессия не позволяет коэффициентам бета-вектора достигать экстремальных значений. 1

Таким образом, Lasso-регуляризация часто обнуляет признаки, а Ridge-регуляризация уменьшает вес большинства из них в модели. 1

Lasso-регуляризацию следует использовать, когда есть несколько характеристик с высокой предсказательной способностью, а остальные бесполезны. 1 Она обнуляет бесполезные характеристики и оставляет только подмножество переменных. 1 Ридж-регуляризацию лучше применять, когда предсказательная способность набора данных распределена между различными характеристиками. 1 Она не обнуляет характеристики, которые могут быть полезны при составлении прогнозов, а просто уменьшает вес большинства переменных в модели. 1