В чем разница между байесовским и эмпирическим риском в машинном обучении?

Разница между байесовским и эмпирическим рисками в машинном обучении заключается в том, что байесовский риск — теоретическая величина, а эмпирический — практическая. rsue.ru

Байесовский риск — это ожидаемый риск, который соответствует ошибке обобщения. neurolectures.narod.ru Его стремятся минимизировать в процессе обучения. neurolectures.narod.ru Однако в большинстве случаев байесовский классификатор нельзя обучить, и посчитать ошибку (риск) тоже невозможно. habr.com

Эмпирический риск — это приближение к байесовскому риску. habr.com Его можно посчитать и подобрать такую аппроксимирующую функцию, которая бы минимизировала эмпирический риск. habr.com

При этом с ростом объёма выборки эмпирический риск стремится к байесовскому. neurolectures.narod.ru Однако при конечном числе примеров это разные сущности, и минимизация одного не обязательно приводит к минимизации другого. neurolectures.narod.ru