Почему буквы с наименьшей частотой встречаемости несут больше информации?

Буквы с наименьшей частотой встречаемости несут больше информации, потому что чем реже встречается символ, тем больше информации несёт его появление. 1

Это следует из формулы, по которой вычисляется информационный вес символа с учётом вероятности его появления в тексте: i = log2(1/P), где Р — вероятность появления данного символа. 15

Например, для русской буквы «О» (вероятность появления — 0,09) информационный вес составит 3,47 бита, а для буквы «Ф» (вероятность появления — 0,002) — 8,97 бита. 15