В чем разница между байесовским и эмпирическим риском в машинном обучении?

Разница между байесовским и эмпирическим рисками в машинном обучении заключается в том, что байесовский риск — теоретическая величина, а эмпирический — практическая. 4

Байесовский риск — это ожидаемый риск, который соответствует ошибке обобщения. 2 Его стремятся минимизировать в процессе обучения. 2 Однако в большинстве случаев байесовский классификатор нельзя обучить, и посчитать ошибку (риск) тоже невозможно. 3

Эмпирический риск — это приближение к байесовскому риску. 3 Его можно посчитать и подобрать такую аппроксимирующую функцию, которая бы минимизировала эмпирический риск. 3

При этом с ростом объёма выборки эмпирический риск стремится к байесовскому. 2 Однако при конечном числе примеров это разные сущности, и минимизация одного не обязательно приводит к минимизации другого. 2