Как вычислить количество информации по формуле Шеннона при различных вероятностях событий?

Формула Шеннона для вычисления количества информации при различных вероятностях событий имеет вид: I = — (p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где: mif.vspu.ru

• I — количество информации; mif.vspu.ru
• N — количество возможных событий; mif.vspu.ru
• pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. mif.vspu.ru

Связь между вероятностью события и количеством информации в сообщении состоит в следующем: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. in.lit.msu.ru

Пример: пусть при бросании несимметричной четырёхгранной пирамидки вероятности отдельных событий будут равны: Р1 = 1/2, р2 = 1/4, р3 = 1/8, р4 = 1/8. belkin.edushd.ru info-helper.ru Тогда количество информации, которое будет получено после реализации одного из них, можно вычислить по формуле Шеннона: belkin.edushd.ru

I = -(l/2 log2l/2 + l/4 log2l/4 + l/8 log2l/8 + l/8 log2l/8) = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита. belkin.edushd.ru info-helper.ru