Суть методов регуляризации заключается в добавлении дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. 3

Чаще всего эта информация имеет вид штрафа за сложность модели. 3 Этот штраф ограничивает величину или сложность модели, помогая ей оставаться достаточно гибкой для адаптации к новым данным, но не настолько сложной, чтобы запоминать каждую деталь обучающего набора. 1

Примеры регуляризации:

• L1-регуляризация (Лассо) склоняет некоторые веса к нулю, облегчая отбор признаков. 1
• L2-регуляризация стремится равномерно распределить веса, предотвращая чрезмерное влияние отдельных признаков. 1

Регуляризация помогает модели лучше обобщать на новые, ранее невиданные данные. 14