В чем заключается принцип минимизации эмпирического и структурного риска при машинном обучении?

Принцип минимизации эмпирического риска в машинном обучении заключается в том, что из множества алгоритмов выбирают тот, который допускает наименьшее число ошибок на заданной обучающей выборке. 2 Основная идея в том, что невозможно точно знать, насколько хорошо алгоритм будет работать на практике, так как не известно истинное распределение данных. 1 Вместо этого измеряют производительность алгоритма на известном наборе обучающих данных. 1

Принцип минимизации структурного риска направлен на выбор модели оптимальной сложности. 2 Обычно при машинном обучении обобщённая модель выбирается из конечного набора данных, что приводит к проблеме переоснащения: модель становится слишком сильно адаптированной к особенностям обучающего набора и плохо обобщается на новые данные. 1 Этот принцип решает эту проблему, уравновешивая сложность модели с её успехом в подборе обучающих данных. 1

Таким образом, принцип минимизации эмпирического риска фокусируется на измерении производительности алгоритма на обучающих данных, а принцип минимизации структурного риска — на выборе модели, которая сочетает в себе минимальную сложность и достаточную точность. 13