Практический компромисс между смещением и дисперсией при обучении с учителем заключается в поиске баланса между минимизацией общей ошибки модели. 5

Смещение — это погрешность оценки, возникающая в результате ошибочного предположения в алгоритме обучения. 13 Большое смещение может привести к недообучению модели, то есть она недооценивает или переоценивает какой-либо параметр. 5

Дисперсия — это ошибка чувствительности к малым отклонениям в тренировочном наборе. 13 Высокая дисперсия может вызвать переобучение модели, то есть она начинает трактовать случайный шум в тренировочном наборе, а не желаемый результат. 13

На практике получается, что модели с высоким смещением, как правило, имеют низкую дисперсию, а модели с низким смещением — высокую. 5

Чтобы найти компромисс, можно использовать настраиваемые параметры алгоритмов обучения. 1 Например, в моделях k-ближайших соседей большое значение k ведёт к большому смещению и низкой дисперсии. 1 В алгоритме машины опорных векторов компромисс можно изменить, увеличив параметр C, который влияет на количество нарушений допустимого запаса в обучающих данных, что увеличивает смещение, но уменьшает дисперсию. 2

Таким образом, существует оптимальная сложность модели, при которой баланс между переобучением и недообучением достигается с минимальной ошибкой. 5