В чём суть методов регуляризации?

Суть методов регуляризации заключается в добавлении дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. neerc.ifmo.ru

Чаще всего эта информация имеет вид штрафа за сложность модели. neerc.ifmo.ru Этот штраф ограничивает величину или сложность модели, помогая ей оставаться достаточно гибкой для адаптации к новым данным, но не настолько сложной, чтобы запоминать каждую деталь обучающего набора. yourtodo.life

Примеры регуляризации:

• L1-регуляризация (Лассо) склоняет некоторые веса к нулю, облегчая отбор признаков. yourtodo.life
• L2-регуляризация стремится равномерно распределить веса, предотвращая чрезмерное влияние отдельных признаков. yourtodo.life

Регуляризация помогает модели лучше обобщать на новые, ранее невиданные данные. yourtodo.life www.dataquest.io