Как вероятность появления символов влияет на информационный вес одного символа?

Чем меньше вероятность появления символа, тем больше его информационный вес. umschool.net videouroki.net

Это связано с тем, что если символ встречается очень редко или с низкой вероятностью, он является более неожиданным и необычным, и его появление несёт больше информации. umschool.net

Формула для расчёта информационного веса символа с учётом вероятности его появления в тексте: i = log 2 (1/P), где Р — вероятность появления данного символа. nsportal.ru videouroki.net

Например, для буквы «О» информационный вес составит: i = log 2 (1/0,09) = 3,47 бита, а для буквы «Ф» — i = log 2 (1/0,002) = 8,97 бита. nsportal.ru videouroki.net