Как работает обучение линейного классификатора с учетом переобучения?

Обучение линейного классификатора с учётом переобучения включает несколько этапов: rsue.ru

1. Начало с заданного набора размеченных примеров. rsue.ru Данные случайным образом разбивают на обучающий, валидационный и тестовый наборы. rsue.ru Размер каждого из этих множеств может быть выбран различным в зависимости от ситуации. rsue.ru
2. Приписывание примеров подходящим признакам. rsue.ru Выбор признаков существенно влияет на результаты обучения и определяется априорной информацией о задаче. rsue.ru
3. Обучение алгоритма на обучающей выборке. rsue.ru Часто оно сводится к решению оптимизационной задачи минимизации эмпирического риска, то есть средних потерь. rsue.ru
4. Настройка гиперпараметров. rsue.ru Фиксируют параметры, для которых алгоритм показывает наилучшее качество предсказаний на валидационной выборке. rsue.ru
5. Использование настроенного алгоритма для предсказания меток тестового набора. rsue.ru Качество алгоритма оценивается с помощью функции, ассоциированной с задачей. rsue.ru

Переобучение возникает, когда параметров слишком много либо не хватает регуляризации. habr.com В таком случае алгоритм может «отвлекаться» на шум в данных и упускать основной тренд. habr.com

Чтобы избежать переобучения, можно использовать, например, кривые обучения (learning curves). habr.com Они позволяют отобразить ошибку как функцию от количества примеров, используемых для обучения, при этом параметры модели фиксируются заранее. habr.com