В чем заключается практический компромисс между смещением и дисперсией при обучении с учителем?

Практический компромисс между смещением и дисперсией при обучении с учителем заключается в поиске баланса между минимизацией общей ошибки модели. habr.com

Смещение — это погрешность оценки, возникающая в результате ошибочного предположения в алгоритме обучения. ru.ruwiki.ru ru.wikipedia.org Большое смещение может привести к недообучению модели, то есть она недооценивает или переоценивает какой-либо параметр. habr.com

Дисперсия — это ошибка чувствительности к малым отклонениям в тренировочном наборе. ru.ruwiki.ru ru.wikipedia.org Высокая дисперсия может вызвать переобучение модели, то есть она начинает трактовать случайный шум в тренировочном наборе, а не желаемый результат. ru.ruwiki.ru ru.wikipedia.org

На практике получается, что модели с высоким смещением, как правило, имеют низкую дисперсию, а модели с низким смещением — высокую. habr.com

Чтобы найти компромисс, можно использовать настраиваемые параметры алгоритмов обучения. ru.ruwiki.ru Например, в моделях k-ближайших соседей большое значение k ведёт к большому смещению и низкой дисперсии. ru.ruwiki.ru В алгоритме машины опорных векторов компромисс можно изменить, увеличив параметр C, который влияет на количество нарушений допустимого запаса в обучающих данных, что увеличивает смещение, но уменьшает дисперсию. yandex.ru

Таким образом, существует оптимальная сложность модели, при которой баланс между переобучением и недообучением достигается с минимальной ошибкой. habr.com