В чём разница между Lasso и Ridge регуляризацией?

Разница между Lasso и Ridge регуляризацией заключается в типе применяемого штрафа: dev.to

• Lasso-регуляризация накладывает штраф на L1-норму бета-вектора (сумма абсолютных значений). dzen.ru Это заставляет лассо-регрессию обнулять некоторые коэффициенты в бета-векторе. dzen.ru
• Ридж-регуляризация накладывает штраф на L2-норму бета-вектора (квадратный корень из суммы квадратов значений). dzen.ru Благодаря этому, ридж-регрессия не позволяет коэффициентам бета-вектора достигать экстремальных значений. dzen.ru

Таким образом, Lasso-регуляризация часто обнуляет признаки, а Ridge-регуляризация уменьшает вес большинства из них в модели. dzen.ru

Lasso-регуляризацию следует использовать, когда есть несколько характеристик с высокой предсказательной способностью, а остальные бесполезны. dzen.ru Она обнуляет бесполезные характеристики и оставляет только подмножество переменных. dzen.ru Ридж-регуляризацию лучше применять, когда предсказательная способность набора данных распределена между различными характеристиками. dzen.ru Она не обнуляет характеристики, которые могут быть полезны при составлении прогнозов, а просто уменьшает вес большинства переменных в модели. dzen.ru