Метод регуляризации предотвращает переобучение, добавляя штрафы за сложность модели. 3 Это приводит к тому, что модель стремится к более простым решениям, обучаясь на обобщённых паттернах, а не на особенностях конкретного набора данных. 3

Некоторые методы регуляризации и их механизмы:

• Dropout. 1 Во время процесса обучения с определённой вероятностью устанавливается выход каждого нейрона на ноль. 1 Это предотвращает совместную адаптацию нейронов, когда они полагаются на присутствие других конкретных нейронов для хорошей работы. 1
• Регуляризация L1. 2 Добавляется штрафной член, пропорциональный абсолютному значению коэффициентов признаков. 2 Этот метод поощряет разреженность, сводя некоторые коэффициенты точно к нулю, что позволяет исключить менее важные признаки. 2
• Регуляризация L2. 12 К функции потерь добавляется штрафной член, пропорциональный сумме квадратов весов сети. 1 Это наказание не позволяет сети придавать слишком большое значение какой-либо отдельной функции, тем самым продвигая более простые и обобщаемые модели. 1
• Ранняя остановка. 1 Процесс обучения периодически прерывается для оценки производительности модели на отдельном проверочном наборе. 1 Если ошибка проверки перестаёт улучшаться и начинает увеличиваться, это указывает на то, что модель начинает переопределять обучающие данные. 1 Затем обучение прекращается, и сохраняются веса эпохи с лучшими показателями проверки. 1

Регуляризация помогает модели лучше обобщать на новые, ранее невиданные данные. 3